Des scientifiques d'OpenAI, DeepMind, Anthropic et Meta avertissent que notre capacité à surveiller le raisonnement de l'IA pourrait disparaître à mesure que les modèles évoluent.
-1920x1328.jpg)
Andrey Rudakov/Bloomberg via Getty Images
Dans une rare démonstration d'unité, des scientifiques des poids lourds de l'IA tels que OpenAI, Google $GOOGL DeepMind, Meta $META et Anthropic ont mis de côté leurs instincts compétitifs pour lancer une alerte commune : nous pourrions être sur le point de perdre notre meilleur outil pour comprendre comment l'IA pense.
Plus de 40 chercheurs de ces laboratoires rivaux ont co-écrit un nouvel article soutenant que la capacité actuelle à observer le raisonnement d'un modèle d'IA — via des monologues internes étape par étape rédigés en langage humain — pourrait bientôt disparaître.
Pour l'instant, des systèmes d'IA avancés comme l’o1 d’OpenAI et d'autres ont commencé à « penser à voix haute », résolvant des problèmes à l'aide de chaînes de pensées lisibles par les humains. Cette transparence, où le modèle partage son processus de pensée, est l'un des outils les plus importants pour assurer la sécurité de l'IA.
Lorsque les modèles prennent des décisions discutables, exploitent des faiblesses ou même signalent des objectifs non alignés, leur raisonnement interne révèle souvent le problème avant qu'il ne se manifeste à l'extérieur. C'est devenu une sorte de système d'alerte précoce — qu'un comité de scientifiques qualifie de plus fragile que nous l’imaginions.
Pourquoi cette inquiétude ? À mesure que les modèles d'IA deviennent plus puissants et que les techniques d'entraînement évoluent — en particulier celles qui privilégient les résultats aux processus — il y a un risque croissant que les modèles cessent d'utiliser un raisonnement lisible par l'homme. Ils pourraient plutôt développer des processus internes plus rapides, plus efficaces et complètement opaques. Les chercheurs ont déjà observé des signes que les modèles abandonnent l'anglais au profit de raccourcis inintelligibles. Certaines conceptions de pointe évitent même complètement le langage, fonctionnant dans un espace mathématique où il n'y a rien à observer pour les humains.
Les chercheurs derrière ce nouvel avertissement ne demandent pas de ralentir les progrès - mais ils appellent à des garde-fous. Des évaluations de transparence normalisées, des techniques de suivi plus robustes et une réflexion sérieuse sur les modèles à poursuivre peuvent être le seul moyen de préserver la visibilité dans la prise de décision de l'IA. Si cette capacité disparaît, nous ne perdrons pas seulement la supervision — nous pourrions perdre le contrôle.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
