PrismML affirme avoir compressé un modèle de 27 milliards de paramètres de 54 Go à moins de 4 Go, permettant ainsi de l'exécuter sur un iPhone 15 ou plus récent.
CFOTO/Future Publishing via Getty Images
Apple $AAPL est en pourparlers préliminaires avec PrismML, une startup qui compresse de grands modèles d'IA pour fonctionner sur les smartphones, a déclaré le PDG de PrismML, Babak Hassibi CNBC. Hassibi a décrit les discussions comme préliminaires et a déclaré qu'il reste incertain où elles mèneront, mais que "les choses progressent bien."
PrismML a publié son modèle Bonsai 27B mardi, que la société a déclaré réduire un modèle de 27,8 milliards de paramètres d'environ 54 Go à seulement 3,9 Go en stockant chaque poids de modèle comme une ou trois valeurs possibles plutôt qu'une valeur standard de 16 bits. À cette taille, le modèle peut fonctionner sur un iPhone 15 ou plus récent, a déclaré la société.
Hassibi a déclaré à CNBC qu'Apple et d'autres entreprises ont mesuré les modèles de la startup pour la vitesse, la consommation d'énergie et la performance sur l'appareil. Apple n'a pas commenté.
Selon PrismML, les modèles compressés nécessitent un dixième à un quinzième de la mémoire des versions standard, fournissent des réponses six à huit fois plus rapides et consomment trois à six fois moins d'énergie. Hassibi a noté que la compression a un coût : les modèles perdent un petit nombre de points de pourcentage en précision globale, et la connaissance factuelle se dégrade plus rapidement que les capacités comme le raisonnement et le codage.
La série Bonsai 27B est disponible en deux versions. La version 1-bit, d'environ 4 Go, est optimisée pour une compression maximale et est conçue pour fonctionner sur des appareils mobiles haut de gamme, y compris l'iPhone 17 Pro, où l'entreprise dit qu'elle atteint 11 tokens par seconde. La version ternaire 1.58-bit offre une qualité supérieure tout en restant nettement plus petite qu'un modèle en pleine précision, et atteint plus de 95% de la performance de référence en pleine précision, selon l'entreprise. Les deux modèles sont disponibles sous une licence Apache 2.0 gratuite. PrismML a déclaré que le modèle Gemma open-source de Google $GOOGL est le prochain dans son pipeline.
PrismML a été créée à partir de recherches menées à l'Institut de technologie de Californie, qui détient les brevets pertinents et octroie à PrismML une licence exclusive pour les commercialiser. La startup a levé un tour de financement de démarrage de 16,25 millions de dollars en mars soutenu par Khosla Ventures.
Apple travaille à étendre la quantité de traitement de l'IA qui se déroule directement sur ses appareils plutôt que dans le cloud. Apple a dévoilé une version remaniée de Siri lors de sa conférence mondiale des développeurs en juin, propulsée par Google Gemini, avec iOS 27 entrant en version bêta publique lundi. Apple envoie actuellement des requêtes plus exigeantes à ses serveurs cloud privés ou à des modèles tiers, réservant un sous-ensemble de tâches pour le traitement sur l'appareil. Déplacer davantage de travail de l'IA sur l'iPhone lui-même réduirait les temps de réponse, diminuerait les dépenses en infrastructure cloud et renforcerait le récit de longue date d'Apple sur la confidentialité.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
