Un an après, Kyutai fait le bilan. Créé en novembre dernier, à l'occasion de l'évènement AI Pulse organisé par Scaleway, le laboratoire de recherche en IA fondé par Xavier Niel, Rodolphe Saadé et Eric Schmidt (lire Qant du 20 novembre 2023) a soufflé sa première bougie ce jeudi. L'occasion de revenir notamment sur le lancement en juillet dernier de Moshi, un assistant vocal capable de traiter la voix en temps réel (lire Qant du 4 juillet). "Moshi est le prototype d'un modèle de fondation. Nous sommes très heureux que Scaleway en fasse un produit" explique Patrick Perez, CEO du laboratoire de recherche. Un chatbot accessible au grand public tout comme ChatGPT, mais open source, réalisé en à peine six mois, avec seulement 1000 GPU et un budget de red teaming limité.
Vers des clusters à 100 000 GPUs
Un exploit. “Aujourd'hui, il est devenu commun d'avoir des clusters de dizaines de milliers de GPU, et nous nous dirigeons vers des clusters à plusieurs centaines de milliers de GPU” rappelle Bryan Catanzaro, vice-président de Nvidia en charge de la recherche en deep learning. Mais ce gigantisme est américain, non européen. “Il y a beaucoup de choses à faire avec des modèles plus petits, moins gourmands en puissance de calcul et donc en énergie” contre Patrick Perez.
En un an, Scaleway a multiplié par cinq sa capacité de calcul, mais elle dépasse à peine les 5000 GPU. Pourtant, le fournisseur de cloud a multiplié les investissements ; il semble faire la course en tête sur l’IA en France. Il prévoit d'être le premier Européen à proposer la puce Blackwell de Nvidia (lire Qant du 19 mars), tout comme sont disponibles les puces MI300X d’AMD, lancées cet été (lire Qant du 4 juin). L’an dernier, Scaleway avait présenté avec Quandela un ordinateur quantique et avec AMD des architectures ARM pour l’inférence des modèles, (lire Qant du 20 novembre 2023).
Le problème subsiste. " Nous n'avons pas assez de GPUs en Europe. La meilleure chose à faire serait de mutualiser l'accès à ces GPUs pour permettre à ceux qui en ont besoin de faire grandir leur infrastructure, tout en évitant que des dizaines d'entreprises ne surdimensionnent cette dernière" analyse Damien Lucas, CEO de Scaleway.
Une question de souveraineté
Alors que l’allemande Aleph Alpha (lire Qant du 22 décembre 2023) jette l’éponge, la France reste une terre fertile pour les modèles de fondation. Kyutai est devenu avec Moshi le quatrième créateur français de modèles de fondation (avec Poolside, Mistral, et la start-up H).
L’élection de Trump s’apprête à redistribuer toutes les cartes. Les tarifs douaniers qu’il compte imposer pourraient faire exploser les coûts des hyperscalers américains et donner une nouvelle chance aux petits acteurs européens. Il est trop tôt pour le dire mais… “Nous sommes optimistes”, sourit Damien Lucas.
La voie pour défendre la souveraineté française et européenne se trouve en tout cas dans la capacité de construire un véritable écosystème européen de l'IA : "Nous devons être capables de construire nos propres modèles en Europe et de disposer de nos propres infrastructures. Nous travaillons avec des entreprises américaines, mais il est important de comprendre que nous disposons de ces produits ici en Europe et que nous comprenions comment les exploiter" conclut la directrice générale adjointe du groupe Illiad, Aude Durand.
Pour en savoir plus :