Les géants de la technologie, y compris Microsoft et Meta, dépensent gros pour des superclusters dans l'espoir de percées en IA.
Photo by Steve Johnson on Unsplash
La croissance explosive de l'IA n'est pas de la magie ; c'est des mathématiques. Et beaucoup de mathématiques. Les dernières avancées en apprentissage profond, des grands modèles de langage aux outils d'image générative, nécessitent des quantités stupéfiantes de puissance de calcul.
Entraîner un modèle d'IA moderne, c'est comme apprendre à un éléphant à danser : il faut de la force brute, un timing parfait et une répétition sans fin. C'est là qu'interviennent les superclusters d'IA.
En surface, un supercluster est un peu comme un cerveau géant composé de nombreux cerveaux plus petits. Ce sont des milliers, voire des centaines de milliers, de GPU ou d'accélérateurs d'IA connectés ensemble avec un réseau ultra-rapide, conçu sur mesure pour s'attaquer à des calculs massifs. Contrairement à votre plateforme de jeu de garage ou même à votre serveur cloud typique, ces machines sont conçues de A à Z dans un but précis : l'IA.
L'IA a introduit une classe entièrement nouvelle en ce qui concerne le stockage et le traitement des données. Alors que les centres de données traditionnels sont conçus pour gérer un mélange varié de charges de travail numériques (pensez serveurs de messagerie, hébergement de sites Web et stockage cloud), les superclusters d'IA sont construits avec un seul objectif : traiter des quantités massives de données à une vitesse fulgurante.
Pour comprendre pourquoi ils sont importants, il est utile de voir d'abord comment ils se différencient des plans des centres de données du passé.
Les percées de l'IA nécessitent à la fois de l'échelle et de la vitesse. Les grands modèles ont besoin de jeux de données massifs, et plus de données implique des temps d'entraînement plus longs, sauf si vous ajoutez une puissance informatique considérable au problème. Les superclusters permettent :
Photo by Levart_Photographer on Unsplash
Les superclusters d'IA ne sont ni bon marché ni petits. En construire un nécessite souvent du matériel personnalisé, une infrastructure réseau spécialisée, un immobilier de la taille d'un aéroport et suffisamment d'énergie pour alimenter une petite nation. Naturellement, seules quelques entreprises sont en position de faire ce type d'investissement.
Ces géants technologiques ne se contentent pas de participer à l'IA — ils en réinventent les fondements physiques. Chacun investit massivement dans des supercalculateurs dédiés qui permettent d'entraîner des modèles à la pointe de la technologie sur des ensembles de données auparavant ingérables. Alors que certains clusters alimentent la recherche interne, d'autres soutiennent les services d'IA qui atteignent désormais des millions d'utilisateurs.
Voici un aperçu de qui construit quoi et pourquoi :
Meta $META – Projet Prometheus / Hyperion: Le supercluster de Meta l'initiative est énorme. Elle développe Prometheus, un centre de données IA de 1 GW, et prévoit Hyperion, une installation de 5 GW qui approche la taille de Manhattan. C'est une partie clé de la stratégie IA de Meta.
Microsoft $MSFT / OpenAI – Clusters Azure ND H200 v5: Azure ND H200 v5 de Microsoft Les machines virtuelles contiennent chacune huit GPU NVIDIA H200 et peuvent évoluer pour former des clusters avec des milliers de GPU. Ces systèmes alimentent l'entraînement des modèles d'OpenAI ainsi que les charges de travail Azure AI.
Google – TPU v4 / Ironwood Pods: TPU v4 de Google Les pods utilisent 4 096 puces spécialisées et des réseaux optiques personnalisés. Ils atteignent des vitesses de niveau exaflop (un exaflop équivaut à un quintillion de calculs par seconde) et alimentent leur entraînement de grands modèles. Sa dernière plateforme TPU v7 « Ironwood » augmente l'échelle, offrant des dizaines d'exaflops pour les systèmes d'inférence générative.
Amazon $AMZN Web Services – EC2 UltraClusters & Project Rainier: Les UltraClusters d'AWS sont de vastes pools de GPU qui incluent des puces P4d (GPU A100) et Trn2/Trainium2 avec un réseau ultra-rapide. Le projet Rainier, construit avec Anthropic, utilise des centaines de milliers de puces Trainium2, offrant plus de 5 fois les exaflops utilisés pour les modèles d'IA de pointe actuels.
Nvidia $NVDA – Efforts de supercalcul en partenariat: Nvidia orchestre des supercalculateurs d'IA à l'échelle mondiale, sponsorisant des constructions de milliers de GPU comme celle de Foxconn et collaborant avec Oracle $ORCL, HPE et d'autres pour déployer des grappes spécialisées.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
