Le TPU 8t vise l'entraînement des modèles tandis que le TPU 8i gère les charges de travail d'inférence, une séparation par rapport aux générations précédentes qui traitaient les deux tâches.
NurPhoto / Getty Images
Google $GOOGL a introduit deux nouvelles puces d'IA lors de sa conférence Cloud Next cette semaine, séparant l'entraînement et l'inférence en processeurs distincts pour la première fois dans la huitième génération de processeurs tensoriels de l'entreprise.
Le TPU 8t est conçu pour entraîner des modèles d'IA, tandis que le TPU 8i est conçu pour l'inférence et la gestion des charges de travail des agents d'IA. Les deux puces seront disponibles plus tard cette année, a déclaré Google.
Jusqu'à présent, une seule puce gérait à la fois l'entraînement et l'inférence dans toutes les générations de TPU. Le matériel spécialisé pour chaque charge de travail est devenu une priorité à mesure que les déploiements d'agents d'IA ont augmenté et que les exigences de performance pour l'entraînement et l'inférence continuaient à diverger, a déclaré Google.
Google a conçu les puces en partenariat avec Google DeepMind. Le PDG Sundar Pichai a déclaré que l'architecture est conçue « pour offrir le débit massif et la faible latence nécessaires pour exécuter simultanément des millions d'agents de manière rentable. »
La base de clients pour les TPUs de Google a augmenté. Parmi les utilisateurs cités par Google figurent Citadel Securities, qui s'appuie sur les TPUs pour la recherche quantitative, et les 17 laboratoires nationaux du système du département de l'Énergie des États-Unis, qui exécutent des logiciels d'IA sur les puces. Anthropic s'est engagé à utiliser plusieurs gigawatts de capacité de TPU de Google, et Yahoo Finance rapporte que Google est également en pourparlers pour fournir des capacités TPU à OpenAI. Un accord pluriannuel de plusieurs milliards de dollars donnant à Meta $META l'accès aux TPUs de Google a également été conclu en février, CNBC a rapporté, citant The Information.
Depuis 2018, lorsque Google a rendu les TPUs disponibles pour les clients cloud externes, les puces ont servi d'option interne pour les entreprises cherchant des alternatives à l'achat de matériel Nvidia $NVDA. La société ne compare pas directement la performance des nouvelles puces avec celle des processeurs de Nvidia.
Comparé à la septième génération Ironwood, le TPU 8t offre 2,8 fois la performance à coût équivalent, a déclaré Google. À l'échelle du superpod, la puce prend en charge des configurations allant jusqu'à 9 600 unités avec deux pétaoctets de mémoire partagée à haute bande passante, visant plus de 97 % de temps de calcul utile. Selon Google, cela se traduit par une réduction du temps nécessaire pour développer des modèles de pointe, passant de plusieurs mois à quelques semaines.
La SRAM sur puce du TPU 8i atteint 384 mégaoctets, soit trois fois plus que ce qu'offrait Ironwood, et la puce inclut également 288 gigaoctets de mémoire à haute bande passante, avec un design global orienté vers l'inférence à faible latence. Pour les charges de travail d'inférence, l'amélioration de la performance par dollar par rapport à la génération précédente atteint 80 %, un gain que Google affirme permettre aux clients de gérer environ le double du volume de demandes sans augmenter les dépenses.
Les deux puces fonctionnent sur les processeurs ARM Axion de Google et prennent en charge des frameworks tels que JAX, PyTorch, SGLang et vLLM. Elles peuvent être utilisées dans le cadre du système AI Hypercomputer de Google, qui combine matériel, logiciel et mise en réseau en une pile unifiée.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
