Matthieu

Merci pour le resumé de mes posts que vous pouvez retrouver ici: clubic.com/actualite-553272-… Maintenant qu'on a ces quelques notions, je vous propose d'essayer de décrypter 6 annonces public. N'hésitez pas completer ou corriger mon analyse, j'suis pas un LLM :) xAI (Twitter): - Juillet 2023, on retrouve l'information sur 10k GPUs. L'argent, $500M vient probablement de la Serie A de xAI. Pas trouvé d'info sur le Datacenter de 10MW - Grok1 est entrainé durant 3 mois puis mis en place en Novembre 2023. Grok2 est entraîné sur le même 10K GPU et est annoncé en Mai 2024. Depuis probablement ce Datacenter a été transformé en Datacenter d'Inference avec ses 10K GPU. Ca fait parti du cycle de vie de GPU: sur 5 ans, 2 ans pour l'entrainement et 3 ans pour l'inference. En suite, poubelle - Avril 2024, Serie B avec $6.00B, pour mettre en place 120K GPU dans un Datacentre de 120MW. Mis en place dans un temps record, il a été utilisé pour entraîner Grok3 qui est en cours de finalisation. - Décembre 2024, Serie C, $6.00B, pour mettre en place probablement les superchip. Source: x.ai/blog Microsoft: Pas mal d'annonces de Microsoft avec OpenAI. Je ne vais pas entrer dedans. Regardons plutôt les annonces en Europe: - février 2024: 3.2Mde en Allemagne. On parle donc probablement de 80K GPU, à terme, pour faire tourner AI localement. Donc Inference. Pas d'invest dans le Datacenter. Donc location. reuters.com/technology/micro… - février 2024: 2.1Mde en Espagne. 60K GPU. Inference local. Datacenter en location reuters.com/technology/micro… - mai 2024: 4Mde en France. 100K GPU à terme. Inference locale en France. Pas de Datacenter en location news.microsoft.com/fr-fr/202… - octobre 2024: 4.3Mde en Italie. 100K GPU à terme. Inference locale en Italie. Datacenter en location news.microsoft.com/it-it/202… EAU en France Nous avons eu l'annonce d'un investissement en France entre 30Mde et 50Mde dans un Datacenter AI par Emirats Arabes Unis. Il s'agit probablement d'un investissement dans les Datecenters + les GPUs. Vu les sommes, on parle jusqu'à 1M de GPUs. En fonction de besoins, cela pourra probablement se tranduire en investissement de plusieurs Datacenters d'Inference ou d'un Datacenter d'entraînement. L'avenir nous le dira. Source: lemonde.fr/economie/article/… Une information importante: certaines sources annoncent que la production annuelle de GPU du type H100 de NVidia est de 2M d'Unités par an (seulement). A confirmer.

Depuis quelques jours, on entend beaucoup parler de projets de construction "Datacenters 1GW" pour l'IA en France Pour bien comprendre le besoin, il faut bien avoir en tête ces 3 chiffres suivant: il faut 50Me, pour investir dans 1000 GPU qui vont fonctionner dans un Datacenter consommant 1MW de puissance électrique Ces 3 chiffres fonctionnent ensemble sur plusieurs niveaux de scale: 50Me - 1k GPU - 1MW 500Me - 10k GPU - 10MW 5Mde - 100k GPU - 100MW 50Mde - 1M GPU - 1GW 80% de ces montants servent à acheter les GPUs, 20% pour construire un Datacenter Pour quel besoin ? Les GPUs sont utilisés pour 2 types d'usage: - l'entrainement et donc la création d'un modèles LLM avec les données (training) - l'utilisation d'un modele LLM existant par les clients (inference) Les générations de GPUs actuellement disponibles sur le marché permettent de faire l'entraînement sur environ 100K GPU en fonctionnant ensemble. Le facteur limitant est la distance entre les 2 GPUs les plus éloignés physiquement : à partir d'un certain nombre de GPU connectés ensemble, la distance fait ralentir le fonctionnement de l'ensemble de GPUs C'est pourquoi pour le besoin de l'entrainement, une nouvelle génération de GPUs arrive sur le marché: les superchip. Au lieu d'avoir des dizaines de GPU indépendants que vous connectez en suite ensemble, chaque superchip regroupe une dizaines de GPUs sur une seule carte. Bravo ! Vous avez réduit la distance entre les GPUs et vous pouvez connecter désormais 10 fois plus de GPUs ensemble sans ralentir le tout. En revanche, vous avez de nouveaux défis à résoudre: comment distribuer l'énergie et refroidir une infrastructure 10 fois plus dense Comment vous procurer une source d'énergie de 1GW et comment assurer sa redondance Pour héberger la puissance de calcul dans un Datacenter, on utilise les baies aka les racks, qui est une sorte d'armoire de 0,6m de large, 1m de profondeur et 2.5m de hauteur. Chaque baie est alimentée avec environ 20KW de puissance électrique. Pour la refroidir, on utilise de l'air frais qu'on pousse à travers la baie Si on veut utiliser plus que 20KW dans une baie, l'air ne suffit pas pour la refroidir. Il faut passer en watercooling. C'est là qu'on commence à parler de la nouvelle génération de Datacenter et dans certains cas on parle de 1GW. En effet, pour héberger les superchip, on parle désormais de baies à 120KW voir meme on spécule sur 240KW par baie et un système de watercooling pour capturer et extraire toute cette chaleur. C'est totalement nouveau par la puissance par baie mais aussi par ce système de refroidissement watercooling at scales. Voilà pourquoi ce genre de Datacenter n'existent pas et donc faut les construire Pour l'usage d'inférence, il n'y a pas besoin de Datacenters aussi sophistiqués. Pas besoin de superchip non plus. Un modèle LLM a besoin d'un système de GPU qui consomme entre 100W et 10KW, rarement 20KW, equivalent de 1 à 16 GPU. Chaque système étant indépendant, vous pouvez mettre autant de systèmes en parallèle que vous voulez, ce qui vous permet d'absorber un grand traffic web ou mobile. Il est même préférable d'avoir plusieurs Datacenters d'Inference, en parallèle et pourquoi pas 1 par pays. Cela permet d'assurer la haute disponibilité, et les faibles latences en utilisant Datacenter le plus proche du visiteur Et OVHcloud dans tout ca ? Nous possédons plus de 40 Datacenters, dans plusieurs pays en Europe, au Canada, en Amérique du Nord, et Asie. Nous sommes experts de watercooling depuis plus de 20 ans. Ceci nous permet de refroidir >500K serveurs physique dans tous nos Datacenters. Nos technos interne, opensourcées, coutent 20x à 40x moins que les solutions du marché. Nous possédons les Datacenters de 40MW à 100MW, capable d'héberger de l'entrainement, avec de baies à 40KW mais aussi nous avons les Datacentres partout dans le monde pour assurer l'inference. Nos investissements suivent les besoins de nos clients et nous sommes capable d'accélérer si necessaire