Peu de temps après la sortie de ChatGPT, un e-mail a fuité Google a déclaré ce que beaucoup pensaient mais peu osaient dire à voix haute : « Nous n’avons pas de douve . Et OpenAI non non en a pas non ». Le mémo de mai 2023 affirmait que les entreprises ne paieraient jamais pour l’IA générative tant qu’il existait des options open source – et ces modèles étaient souvent meilleurs de toute façon. Le même mois, à l’autre chemin du monde, un entrepreneur nommé Liang Wenfeng a discrètement fondé DeepSeek en Chine.
Un an et demi plus tard, DeepSeek allait prouver que Google était prophétique. Lorsque DeepSeek a dévoilé son modèle V3 En décembre dernier, la société a déclaré avoir formé ses produits pour seulement 5,6 millions de dollars en utilisant des puces de qualité inférieure, soit moins de 6 % des coûts de formation de GPT-4. Cette découverte a provoqué une onde de choc dans l’ensemble du secteur. La semaine dernière, la société a dévoilé R1, un nouveau modèle de raisonnement capable de résoudre des problèmes complexes étape par étape, en s’appuyant sur les capacités des systèmes de raisonnement spécialisés d’OpenAI.
Ces percées ont envoyé Les actions technologiques américaines en chute libre lundi et a révélé une vérité inconfortable : il se pourrait bien qu’il n’y ait aucun fossé en matière d’IA. Les barrières technologiques censées protéger la domination de l’Amérique en matière d’IA, des puces avancées aux centres de données massifs, sont plus un mirage qu’une forteresse. Mais alors que ces modèles pourraient poser problème aux entreprises qui misent sur des avantages exclusifs ou qui recherchent des levées de fonds massives, DeepSeek pourrait annoncer une nouvelle ère de développement d’une IA plus efficace et plus accessible.
Ce ne sont pas seulement les entreprises qui développent l’IA générative qui ont été touchées. Pour les investisseurs qui voyaient en Nvidia le parfait « pioche et pelle » dans une ruée vers l’or incertaine de l’IA, la révélation de DeepSeek a également été dévastatrice. Les actions de la société se sont effondrées lundi, perdre près de 600 milliards de dollars dans la plus forte chute de valeur marchande en une journée de l’histoire. Il s’avère que non seulement il n’y a pas de fossé pour les logiciels, comme Google l’a prévenu, mais il n’y en a peut-être pas non plus pour le matériel. C’est déconcertant pour une entreprise dont la valorisation en volée s’est fondée sur l’idée que l’appétit de l’IA pour le silicium de pointe ne ferait que croître.
La percée de DeepSeek est venue de l’entraînement de son modèle sur environ 2 000 GPU H800 de Nvidia, des puces spécialement conçues avec des capacités réduites pour se conformer aux contrôles d’exportation américains vers la Chine. Ce sont les cousins des très convoités H100 utilisés par les entreprises américaines, avec des vitesses de communication puce à puce délibérément limitées qui étaient censées les rendre insuffisantes pour entraîner des modèles d’IA avancés. Pourtant, DeepSeek a réussi à créer un modèle compétitif malgré ces contraintes.
Le sanctions avancées en matière de puces Les mesures mises en place par l’administration Biden étaient censées empêcher exactement ce scénario. Mais plutôt que d’affaiblir les capacités d’IA de la Chine, l’embargo semble avoir été le catalyseur. DeepSeek a été contraint d’innover d’une manière qui remet désormais en question les hypothèses fondamentales de la Silicon Valley, même si son fondateur Wenfeng a reconnu que le manque de puces haut de gamme reste un goulot d’étranglement, selon le Wall Street Journal.
Les implications pour les puces vont au-delà des simples coûts de formation. Lorsque les entreprises trouvent des moyens plus efficaces pour former des modèles d’IA, ces gains d’efficacité se répercutent souvent sur la manière dont les modèles fonctionnent au quotidien, ce que l’on appelle dans le secteur l’inférence. DeepSeek facture 2,19 $ par million de jetons de sortie, contre 15 $ pour le dernier modèle d’OpenAI. Ce n’est pas le genre de gain d’efficacité limité qui peut être ignoré : il s’agit d’une différence sept fois supérieure qui menace de remodeler l’économie du déploiement de l’IA.
Quelques leaders technologiques remettent en question si ce que DeepSeek a fait était vraiment possible avec son budget et son approvisionnement en puces déclarés. Meta aurait mis en place “salles de guerre” à examiner ces modèles. Microsoft est sonder si DeepSeek avait accès à la technologie OpenAI qui pourrait être à l’origine de certaines de ses capacités.
Si les affirmations de DeepSeek se confirment, cela changera la donne pour la construction frénétique de centres de données à travers l’Amérique, y compris Projet Stargate de 500 millions de dollars annoncé à la Maison Blanche la semaine dernière. Toutes ces installations massives semblaient urgentes en raison des coûts astronomiques de formation des modèles fabriqués aux États-Unis : le PDG d’OpenAI Sam Altman a déclaré que le coût de GPT-4 « plus de 100 millions de dollars pour former et le PDG d’Anthropic Dario Amodei a prédit que nous pourrions assister à une Modèle à 10 milliards de dollars cette année.
Mais s’ils peuvent être formés pour une fraction de ce coût sur du matériel moins puissant, la précipitation à construire pourrait ressembler davantage à une réaction excessive et coûteuse. Certains, comme Yann LeCunn, responsable scientifique en IA chez Meta, soutiennent que nous aurons toujours besoin de cette infrastructure pour exécuter des services d’IA à grande échelle. Mais les avancées de DeepSeek suggèrent qu’il existe encore d’importants gains d’efficacité à la fois en matière de formation et de déploiement, ce qui devrait enthousiasmer les chercheurs.
C’est un schéma que l’on voit encore et encore.
Tout comme le coût du traitement informatique a chuté depuis l’apparition des premiers ordinateurs centraux (les smartphones étant désormais dotés d’une puissance de calcul supérieure à celle des machines qui ont envoyé les astronautes sur la Lune), il y a toujours eu des raisons de croire que l’énorme appétit énergétique de l’IA allait diminuer. Les premières itérations de toute technologie sont rarement efficaces, et la facture de l’IA générative allait toujours arriver : les entreprises doivent commencer à gagner de l’argent un jour ou l’autre, ce qui est probablement impossible aux niveaux actuels de consommation énergétique.
Ou, comme le dit Brian Cahn de Sequoia Capital, il y a un La question à 600 milliards de dollars (qui a explosé par rapport à son estimation initiale de 200 milliards de dollars l’été dernier, alors que les investissements dans l’IA continuaient d’augmenter tandis que les revenus restaient insaisissables) — l’écart entre ce que les entreprises technologiques dépensent en IA et ce qu’elles en tirent.
La percée de DeepSeek pourrait contribuer à combler cette lacune. Puisqu’elle est open source, rien n’empêche les entreprises technologiques américaines d’adopter elles-mêmes ces techniques d’efficacité. Leurs propres coûts de formation et d’inférence pourraient chuter. Et même si une IA moins chère peut sembler être une mauvaise nouvelle pour les géants de la technologie, Satya Nadella voit les choses différemment.Paradoxe de Jevons frappe encore ! » PDG de Microsoft publié sur X« À mesure que l’IA devient plus efficace et plus accessible, nous verrons son utilisation monter en flèche, la transformant en un bien dont nous ne pourrons plus nous passer. »
Cette révélation open source pourrait marquer bien plus qu’un simple tournant technique. L’histoire de l’IA a montré que les plus grandes avancées proviennent souvent de chercheurs s’appuyant ouvertement sur les travaux des autres, du développement des réseaux neuronaux à l’architecture transformatrice qui alimente l’IA d’aujourd’hui.
Cela pourrait inverser ce que le chercheur de Google François Chollet considérait comme le plus grand impact d’OpenAI : faire reculer l’intelligence artificielle générale.5 à 10 ans« quand elle a cessé de publier ses recherches, ce qui a encourage moins de partage dans le domaine, tout afin de protéger son avantage.
Ce fossé n’a jamais existé.
Mais le fait d’y croire a peut-être freiné l’IA plus que n’importe quelle limitation technique.
—Jackie Snow, rédactrice collaboratrice
Ce contenu a été traduit automatiquement à partir du texte original. De légères différences résultant de la traduction automatique peuvent apparaître. Pour la version originale, cliquez ici.