Google prévoit d'annoncer de nouvelles générations de TPU lors de Google Cloud Next, avec des puces axées sur l'inférence en partenariat avec Marvell Technology probablement à venir.
Kevin Carter / Getty Images
Google $GOOGL est en train de développer de nouvelles puces dédiées à l'inférence IA en partenariat avec Marvell Technology, positionnant Alphabet pour concurrencer plus directement Nvidia $NVDA dans une catégorie de semi-conducteurs stimulée par la demande croissante pour les logiciels d'IA, selon Bloomberg.
Après qu'un modèle est entraîné, l'inférence est l'étape où il fait réellement son travail — traiter les requêtes et produire des résultats. Google prévoit d'annoncer une nouvelle génération de ses unités de traitement tensoriel, connues sous le nom de TPUs, lors de la conférence Google Cloud Next à Las Vegas cette semaine, avec des puces axées sur l'inférence attendues par la suite.
« Le champ de bataille se déplace vers l'inférence », a déclaré l'analyste de Gartner Chirag Dekate à Bloomberg. Le scientifique en chef de Google Jeff Dean a déclaré dans une interview qu'à mesure que la demande en IA augmente, « il devient maintenant raisonnable de spécialiser davantage les puces pour l'entraînement ou pour les charges de travail d'inférence ».
Amin Vahdat, qui supervise l'infrastructure IA et le travail sur les puces de Google, a refusé de commenter les plans spécifiques des puces d'inférence mais a déclaré que plus de détails seraient probablement partagés « dans un avenir relativement proche ».
Selon Partha Ranganathan, vice-président et membre de l'ingénierie de l'entreprise, Google a envisagé l'idée de puces distinctes pour l'entraînement et l'inférence à ses débuts avant de finalement décider de ne pas le faire. Cette approche pourrait changer alors que le cycle de dépense plus large de l'IA se déplace de l'entraînement vers les charges de travail d'inférence.
En entrant sur le marché de l'inférence, Google peut s'appuyer sur les avantages construits au fil des années de développement de puces internes, des revenus substantiels de son activité de recherche et une relation exceptionnellement étroite avec les modèles d'IA que son matériel est censé exécuter. Aucun autre développeur d'IA de premier plan ne fabrique ses propres puces à un volume comparable, un avantage structurel qui resserre le lien entre les personnes qui construisent les modèles de Google et celles qui conçoivent le silicium sur lequel ils fonctionnent.
La demande pour les TPUs de Google a considérablement augmenté. Meta $META a conclu un accord de plusieurs milliards de dollars pour se procurer des TPUs via Google Cloud, et Santosh Janardhan, qui dirige les opérations d'infrastructure de Meta, a déclaré que les premiers résultats indiquent des gains de performance possibles sur les tâches d'inférence. Anthropic, qui a étendu son accès aux TPUs à jusqu'à 1 million de puces, a également signé un accord séparé avec Broadcom $AVGO — le partenaire de fabrication des TPUs de Google — pour des puces permettant environ 3,5 gigawatts de puissance informatique à partir de 2027.
Une personne familière avec le dossier a dit à Bloomberg que Google a mis à l'essai un arrangement selon lequel les clients d'entreprise, dont Anthropic, pourraient déployer du matériel TPU sur site au lieu de dépendre uniquement de l'infrastructure cloud de Google. L'entreprise a également ouvert l'accès aux TPUs à des outils externes tels que PyTorch, s'éloignant d'un environnement logiciel purement propriétaire.
Nvidia reste le leader des puces AI, surtout pour l'entraînement. Le PDG de Nvidia, Jensen Huang, a déclaré lors de la conférence GTC de l'entreprise plus tôt cette année que ses puces peuvent gérer des applications "que vous ne pouvez pas faire avec des TPUs". Google utilise à la fois des TPUs et des GPU Nvidia pour ses propres projets AI.
Les contraintes d'approvisionnement pourraient compliquer les ambitions de Google. Un cadre de startup non nommé a décrit la rareté des puces comme un véritable obstacle, disant à Bloomberg que l'entreprise avait peu accès aux TPUs. Hassabis, pour sa part, a confirmé que l'approvisionnement disponible est dirigé vers les principales organisations AI — le groupe qu'il a décrit comme "les équipes les plus élites".
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
