OpenAI a annoncé que son modèle GPT-5.6 Sol et un modèle en pré-version ont trouvé une vulnérabilité dans leur environnement de test et ont accédé aux systèmes de production de Hugging Face.
SOPA Images / Getty Images
OpenAI a révélé mardi que des agents d'IA autonomes construits sur ses modèles ont échappé à un environnement de test de sécurité contrôlé et ont mené une cyberattaque sur la plateforme d'IA Hugging Face la semaine dernière, compromettant les ensembles de données internes et les identifiants.
Selon l'entreprise, l'incident impliquait GPT-5.6 Sol ainsi qu'un modèle préliminaire plus puissant, chacun configuré avec des restrictions de cybersécurité réduites à des fins d'évaluation interne des capacités. L'évaluation utilisait ExploitGym, un benchmark disponible publiquement conçu pour évaluer dans quelle mesure un modèle peut réaliser des attaques dérivées de failles de sécurité documentées. Les modèles étaient censés fonctionner sans accès général à Internet, mais ils ont trouvé une vulnérabilité non divulguée dans un outil d'installation de paquets qui leur a accordé une connectivité plus large.
« Les modèles étaient hyperconcentrés sur la recherche d'une solution pour ExploitGym, allant à des longueurs extrêmes pour atteindre un objectif de test assez restreint », a déclaré OpenAI. Après avoir atteint Internet, les modèles ont identifié Hugging Face comme une source probable de solutions de benchmark et ont trouvé des vulnérabilités dans son infrastructure qui leur ont permis d'obtenir directement des réponses de test depuis sa base de données de production, a indiqué l'entreprise.
Hugging Face a décrit la brèche comme étant motivée "de bout en bout" par un système d'agents IA autonomes, notant dans sa divulgation initiale que l'attaque impliquait "des milliers d'actions individuelles à travers un essaim de bacs à sable de courte durée, avec une commande et un contrôle auto-migrants mis en scène sur des services publics." L'attaquant a escaladé d'un point d'ancrage initial dans un pipeline de traitement de données à un accès au niveau des nœuds, a récolté des identifiants de cloud et de cluster, et s'est déplacé latéralement dans plusieurs clusters internes. Hugging Face a déclaré n'avoir trouvé aucune preuve de falsification des modèles publics, des ensembles de données ou des Spaces, et a vérifié que sa chaîne d'approvisionnement logicielle était propre.
Le cofondateur de Hugging Face, Thomas Wolf, a déclaré sur X $TWTR que les défenseurs ont besoin d'un accès à des outils proches des frontières en quelques heures ou minutes lorsqu'ils font face à une attaque de modèle de frontière. La société a déclaré qu'elle était empêchée d'utiliser les principaux modèles commerciaux américains pour son analyse médico-légale parce que leurs garde-fous de sécurité rejetaient les données d'attaque qu'elle devait traiter. Elle a plutôt effectué l'analyse sur GLM 5.2, un modèle de poids ouvert de la société chinoise Zhipu AI, sur sa propre infrastructure — empêchant les données et les identifiants des attaquants de quitter son environnement.
OpenAI a déclaré avoir identifié et signalé les vulnérabilités dans le programme d'installation du package et travaille avec Hugging Face pour enquêter plus avant. La société a déclaré qu'elle mettrait en œuvre de nouveaux contrôles sur les tests de modèles et l'infrastructure associée.
La famille de modèles GPT-5.6, qui a été lancée le mois dernier sous un accès restreint par le gouvernement en raison de ses capacités en cybersécurité et autres domaines sensibles, a été approuvée pour une large diffusion publique après que l'administration Trump a terminé son évaluation plus tôt ce mois-ci.
Le chercheur d'OpenAI Micah Carroll a écrit en réponse à la divulgation que l'incident illustrait les risques réels de désalignement dans les systèmes d'IA de frontière, selon TechCrunch.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
