Il y a un CPU. Il y a un GPU. Au cours de la dernière année environ, toutes les entreprises technologiques ont parlé des « NPU ». vous ne connaissiez pas les deux premiers, vous êtes probablement déconcerté par le troisième et pourquoi toutes les grandes entreprises technologiques vantent les avantages de une « unité de traitement neuronal ». Comme vous l’avez peut-être deviné, tout cela est dû au cycle de battage médiatique en cours autour de l’IA. Et pourtant, la technologie les entreprises ont été plutôt mauvaises pour expliquer ce que font ces NPU ou pourquoi vous devriez vous en soucier.
Tout le monde veut une part du gâteau de l’IA. Google $GOOGL a dit “IA” plus de 120 fois au cours de ce mois Conférence des développeurs d’E/S, où les possibilités de nouvelles applications et d’assistants d’IA ont pratiquement enchanté ses hôtes. Au cours de son récent Construire une conférence, Microsoft $MSFT se concentrait sur ses nouveaux PC Copilot+ basés sur ARM utilisant les processeurs Qualcomm $QCOM Snapdragon X $TWTR Elite et X Plus. L’un ou l’autre des processeurs offrira toujours un NPU avec 45 TOPS. Qu’est-ce que cela signifie ? Eh bien, les nouveaux PC devraient pouvoir prendre en charge l’IA sur l’appareil. Cependant, lorsque vous y pensez, c’est exactement ce que Microsoft et Intel $INTC ont promis à la fin de l’année dernière avec le soi-disant ”PC IA.»
Si vous avez acheté un nouvel ordinateur portable doté d’une puce Intel Core Ultra cette année grâce à la promesse d’une IA intégrée à l’appareil, vous n’en êtes probablement aucun. trop content d’être laissé pour compte. Microsoft a déclaré à Gizmodo que seuls les PC Copilot + auront accès à Fonctionnalités basées sur l’IA comme le rappel "à cause des puces qui les font fonctionner.”
Lire la suite: L’IA comporte de nombreux termes. Nous avons un glossaire pour ce que vous devez savoir
Cependant, il y a eu quelques controverses lorsque le célèbre fuyard Germon ont affirmé qu’ils pouvaient exécuter Recall sur un autre PC basé sur ARM64 sans recourir au NPU. Les nouveaux ordinateurs portables ne sont pas encore disponibles, mais nous Il faudra attendre et voir quelle pression les nouvelles fonctionnalités d’IA exercent sur les processeurs neuraux.
Mais si vous êtes vraiment curieux de savoir ce qui se passe avec les NPU et pourquoi tout le monde, d’Apple $AAPL à Intel en passant par les petites startups PC, parle à leur sujet, nous avons concocté un guide explicatif pour vous mettre au courant.
Expliquer le NPU et les ‘TOPS’
Donc, tout d’abord, nous devrions offrir aux personnes en arrière-plan un aperçu rapide des capacités informatiques de votre PC habituel. Le CPU, ou « central » L’unité de traitement graphique est essentiellement le « cerveau » de l’ordinateur qui traite la plupart des tâches de l’utilisateur. Le GPU, ou « unité de traitement graphique », est plus spécialisé pour la gestion de tâches nécessitant de grandes quantités de données, comme le rendu d’un objet 3D ou la lecture d’un jeu vidéo. Les GPU peuvent soit ils constituent une unité discrète à l’intérieur du PC, soit ils peuvent être intégrés dans le processeur lui-même.
De cette manière, le NPU est plus proche du GPU en termes de sa nature spécialisée, mais vous ne trouverez pas de neurone séparé. processeur en extérieur à l’unité centrale ou de traitement graphique, du moins pour l’instant. C’est un type de processeur conçu pour gérer les calculs mathématiques spécifiques aux algorithmes d’apprentissage automatique. Ces tâches sont traitées « en parallèle », ce qui signifie qu’elles seront divisées en tâches plus petites, puis traitées. simultanément. Il est spécialement conçu pour gérer les demandes intenses des réseaux neuronaux sans exploiter les processeurs des autres systèmes.
La norme pour évaluer la vitesse du NPU est le TOPS, ou « des billions d’opérations par seconde. Ils comparent leurs capacités de traitement neuronal les unes avec les autres. C’est aussi une manière incroyablement réductrice de comparer les vitesses de traitement. Les processeurs et les GPU offrent de nombreuses différents points de comparaison, depuis le nombre et les types de cœurs jusqu’aux vitesses d’horloge générales ou téraflops, et même cela ne change rien au surface des complications liées à l’architecture des puces. Qualcomm explique que TOPS n’est qu’une équation mathématique rapide et sale combinant la vitesse et la précision des processeurs neuronaux.
Peut-être qu’un jour, nous examinerons les NPU avec la même granularité que les CPU ou les GPU, mais cela ne viendra peut-être qu’après que nous aurons au-dessus du cycle actuel de battage médiatique de l’IA. Et même dans ce cas, aucune de ces définitions de processeurs n’est gravée dans le marbre. Il y a aussi l’idée de Les GPNPU, qui sont essentiellement un plateau combiné de capacités GPU et NPU. Bientôt, nous devrons diviser les capacités de des PC plus petits compatibles avec l’IA avec des PC plus grands qui pourraient gérer des centaines, voire des milliers de TOPS.
Les NPU existent depuis plusieurs années sur les téléphones et les PC
Les téléphones utilisaient également des NPU bien avant que la plupart des personnes ou des entreprises ne s’en soucient. Google a parlé des NPU et des capacités d’IA dès le début. Pixel2. Huawei et Asus, centrés sur la Chine, ont lancé des NPU sur des téléphones comme celui de 2017 Mate10 et le 2018 Zenphone5. Les deux sociétés ont essayé à l’époque d’étendre les capacités d’IA sur les deux appareils, même si les clients et les évaluateurs étaient beaucoup plus sceptiques quant à leurs capacités. qu’aujourd’hui.
En effet, les NPU d’aujourd’hui sont bien plus puissantes qu’elles ne l’étaient il y a six ou huit ans, mais si vous n’y aviez pas prêté attention, les neurones La capacité de la plupart de ces appareils vous aurait échappé.
Les puces informatiques sont déjà équipées de processeurs neuronaux depuis des années avant 2023. Par exemple, les processeurs de la série M d’Apple, les puces ARC exclusives de l’entreprise, déjà prenaient en charge les capacités neuronales en 2020. La puce M1 avait 11 TOPS, mais les M2 et M3 avaient respectivement 15,8 et 19 TOPS. C’est seulement avec le Puce M4 à l’intérieur du nouvel iPad Pro 2024 qu’Apple a décidé qu’il devait se vanter de la vitesse de 38 TOPS de son dernier moteur neuronal. Et quelles sont vraiment les applications iPad Pro AI utiliser cette nouvelle capacité ? Pas grand-chose, pour être honnête. Peut-être en verrons-nous davantage dans quelques semaines à WWDC 2024, mais nous devrons attendre et voir.
L’obsession actuelle pour les NPU est en partie du matériel et en partie du battage médiatique
L’idée derrière le NPU est qu’il devrait pouvoir prendre le fardeau de l’exécution de l’IA sur l’appareil hors du CPU ou du GPU, permettre aux utilisateurs d’exécuter des programmes d’IA, qu’il s’agisse de générateurs d’art d’IA ou de chatbots, sans ralentir leur PC. Le problème est que nous Nous sommes tous encore à la recherche d’un véritable programme d’IA capable d’utiliser les capacités accrues de l’IA.
Gizmodo a eu des conversations avec les principaux fabricants de puces au cours de l’année dernière, et la une chose que nous entendons c’est que les fabricants de matériel estiment que, pour une fois, ils ont dépassé la demande en logiciels. Pendant très longtemps, c’était le contraire. Les créateurs de logiciels repousseraient les limites de ce qui est disponible sur le matériel grand public, ce qui oblige les fabricants de puces à rattraper leur retard.
Mais depuis 2023, nous n’avons vu que quelques applications d’IA marginales capables de s’exécuter sur l’appareil. La plupart des démonstrations des capacités d’IA de Qualcomm ou les puces d’Intel impliquent généralement l’exécution de la fonction de flou d’arrière-plan Zoom $ZM. Dernièrement, nous avons vu des entreprises comparer leurs NPU avec le modèle de générateur de musique IA. Riffusion dans des applications existantes comme Audacity ou avec des sous-titres en direct sur OBS Studio. Bien sûr, vous pouvez trouver des applications exécutant des chatbots capables d’exécuter sur l’appareil, mais un LLM moins performant et moins nuancé ne ressemble pas à l’application tueuse géante qui fera que tout le monde courra vers achetez le dernier nouveau smartphone ou « AI PC ».
Au lieu de cela, nous sommes limités à des applications relativement simples avec Gemini Nano sur Téléphones Pixel, comme résumés textuels et audio. La plus petite version de son IA de Google arrive sur le Pixel 8 et Pixel8a. Les fonctionnalités d’IA de Samsung qui étaient autrefois exclusives au Galaxy S24 ont déjà ont fait leur chemin vers les téléphones plus anciens et devrait bientôt arriver au les wearables de l’entreprise. Nous n’avons pas étalonné la vitesse de ces capacités d’IA sur des appareils plus anciens, mais ce indique à quel peu les appareils plus anciens d’aussi loin car 2021 avait déjà beaucoup de capacité de traitement neural.
L’IA sur les appareils est toujours entravée par le manque de puissance de traitement pour les produits grand public. Microsoft, OpenAi et Google doivent exécuter des des centres de données dotés de centaines d’IA avancées GPU de Nvidia $NVDA, comme le H100 (Microsoft et d’autres sont travailleraient sur leurs propres puces d’IA), pour traiter certains des LLM ou chatbots les plus avancés avec des modèles comme Gémeaux Avancé ou GPT 4o. Ce n’est pas bon marché ni argent ou des ressources comme pouvoir et eau, mais c’est pour que la plupart des consommateurs d’IA les plus avancés peuvent payer pour le fonctionner dans le cloud. Faire fonctionner l’IA sur l’appareil profite aux utilisateurs et à l’environnement. Si les entreprises pensent que les consommateurs exigent les modèles d’IA les plus récents et les plus performants, le logiciel continuera à dépasser ce qui est possible sur un appareil grand public.