Un vaste examen de sécurité montre que les principales entreprises d'IA progressent vers des systèmes surhumains sans garde-fous pour empêcher des défaillances catastrophiques.
An Rong Xu/Bloomberg via Getty Images
Les principales entreprises mondiales d'intelligence artificielle ont toutes reçu des notes d'échec ou presque pour leurs plans visant à contrôler des systèmes superintelligents, selon une nouvelle évaluation de sécurité publiée aujourd'hui, alors même qu'elles se précipitent pour développer une technologie qui pourrait surpasser l'intelligence humaine.
L'Indice de sécurité de l'IA de l'hiver 2025 de l'Institut pour l'avenir de la vie a évalué huit grandes entreprises d'IA selon six dimensions, y compris l'évaluation des risques, les dommages actuels et la sécurité existentielle. L'organisation, qui a attiré l'attention en 2023 pour une lettre ouverte appelant à une pause dans le développement des systèmes d'IA les plus puissants, a réuni un panel indépendant des principaux experts pour mener sa troisième édition.
Alors qu'Anthropic, OpenAI et Google $GOOGL DeepMind étaient en tête avec des notes de C+ à C dans l'ensemble, toutes les entreprises ont obtenu des D ou F sur les mesures de sécurité existentielle — la capacité à prévenir la perte de contrôle des systèmes d'IA avancés.
« Les PDG de l'IA prétendent savoir comment construire une IA surhumaine, mais aucun ne peut montrer comment ils empêcheront que nous perdions le contrôle », a déclaré Stuart Russell, professeur d'informatique à l'UC Berkeley et l'un des experts évaluateurs de l'indice. Le rapport a noté que les entreprises admettent que les risques catastrophiques pourraient être aussi élevés qu'un sur trois, mais manquent de plans concrets pour les réduire à des niveaux acceptables.
L'évaluation a révélé un écart croissant entre les meilleurs et les retardataires, y compris xAI, Meta $META, et les entreprises chinoises DeepSeek, Z.ai et Alibaba Cloud. Les entreprises dans l'ensemble ont obtenu de mauvais résultats dans le domaine des Dommages Actuels, qui évalue comment les modèles d'IA se comportent sur des benchmarks de confiance standardisés conçus pour mesurer la sécurité, la robustesse et la capacité à contrôler les sorties nuisibles. Les examinateurs ont constaté que « des échecs de sécurité fréquents, une robustesse faible et un contrôle inadéquat des dommages graves sont des schémas universels » avec des performances uniformément faibles sur ces benchmarks.
Anthropic a obtenu le meilleur score dans cette catégorie avec un C+, tandis que xAI a reçu une note d'échec. Le score d'OpenAI a chuté à C- de la note B dans la deuxième édition, influencé en partie par des incidents récents dans le monde réel. Les critiques ont recommandé à l'entreprise "d'accroître les efforts pour prévenir la psychose et le suicide de l'IA, et d'agir de manière moins antagoniste envers les victimes présumées."
"Si on nous avait dit en 2016 que les plus grandes entreprises technologiques feraient fonctionner des chatbots encourageant les enfants à se suicider et produisant de la psychose documentée chez les utilisateurs à long terme, cela aurait ressemblé à un délire paranoïaque," a déclaré Tegan Maharaj, professeur à HEC Montréal et critique.
L'index a noté que, bien qu'aucun des modèles testés n'ait échoué aux benchmarks, les scores constamment médiocres dans les entreprises ont révélé des faiblesses systémiques dans la manière dont l'industrie aborde les risques de sécurité immédiats, même avant de considérer les dangers plus spéculatifs des systèmes superintelligents.
Cinq entreprises ont participé pour la première fois à l'enquête détaillée de l'index, offrant une transparence sans précédent sur leurs pratiques de sécurité. Cependant, les critiques ont conclu que même les meilleurs acteurs ne répondent pas aux normes réglementaires émergentes comme le Code de pratique de l'IA de l'UE et le SB 53 de Californie, avec des lacunes dans la supervision indépendante, la modélisation transparente des menaces et les seuils de risque mesurables. « En général, les entreprises obtiennent de mauvais résultats, et même les meilleures font des hypothèses discutables dans leurs stratégies de sécurité », a averti un examinateur.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
