Anthropic a révélé jeudi que trois de ses modèles Claude AI ont obtenu un accès non autorisé à des systèmes réels appartenant à trois organisations distinctes lors d'évaluations de cybersécurité menées avec un partenaire de test tiers.
Les incidents ont impliqué 3 modèles Claude fonctionnant dans un environnement d'évaluation qui était par inadvertance connecté à Internet.
NurPhoto / Getty Images
Anthropic a révélé jeudi que trois de ses modèles Claude AI ont obtenu un accès non autorisé à des systèmes réels appartenant à trois organisations distinctes lors d'évaluations de cybersécurité menées avec un partenaire de test tiers.
Les violations concernaient Claude Opus 4.7, Claude Mythos 5 et un modèle de test de recherche interne. Chaque évaluation demandait aux modèles de compléter un défi de capture de drapeau — un exercice de cybersécurité dans lequel les participants tentent de localiser et de récupérer des données délibérément placées sur un système ou réseau séparé — réalisé par Irregular, l'un des partenaires d'évaluation externes d'Anthropic. Les instructions d'Anthropic indiquaient aux modèles qu'ils opéraient dans une simulation sans accès à Internet, mais une mauvaise configuration a laissé les environnements d'évaluation connectés à Internet en direct. Les modèles ont traité les systèmes réels qu'ils ont rencontrés comme faisant partie de l'exercice.
Les premiers incidents remontent à avril, a déclaré la société. Anthropic a informé les trois organisations concernées le lundi 27 juillet. Deux des organisations n'avaient pas précédemment détecté les intrusions, et la troisième n'a pas encore été contactée.
Lors du premier incident, Opus 4.7 a ciblé une véritable entreprise dont le nom correspondait à l'entreprise fictive utilisée dans l'évaluation. Le modèle a compromis l'infrastructure de l'entreprise et a accédé à une base de données contenant plusieurs centaines de lignes de données de production. Même après avoir reconnu qu'il avait probablement atteint un environnement réel, le modèle a poursuivi son attaque lors des quatre exécutions de l'évaluation.
Lors du deuxième incident, Mythos 5 a publié un paquet Python malveillant sur PyPI, le registre public de logiciels, en tentant de compléter sa tâche assignée. Au cours d'environ une heure avant d'être retiré, le paquet a été téléchargé et exécuté sur 15 machines réelles. Parmi elles se trouvait un système dans une entreprise de sécurité qui ingère régulièrement des paquets Python dans le cadre de son pipeline de balayage de logiciels malveillants, un processus qui a involontairement exécuté le code de Claude et lui a permis de récolter des identifiants et de se propager dans d'autres infrastructures.
Lors du troisième incident, un modèle de test de recherche interne a scanné environ 9 000 cibles avant de compromettre l'application accessible sur Internet d'une entreprise. Ce modèle a finalement reconnu que la cible était réelle et a cessé l'attaque de lui-même.
Les trois modèles ont réagi différemment une fois que les signes ont montré que leurs cibles étaient réelles, a déclaré Anthropic. Opus 4.7 a poursuivi son attaque. Mythos 5 a conclu qu'il était toujours dans une simulation malgré les preuves du contraire. Le modèle de recherche interne s'est arrêté une fois qu'il a confirmé que la cible était réelle. "Le modèle est cohérent avec des modèles plus avancés réagissant plus correctement, mais nous devrions effectuer plus de tests pour être sûrs de cette conclusion", a déclaré la société.
Anthropic a déclaré qu'elle avait arrêté toutes les évaluations cybernétiques le jeudi 24 juillet après avoir identifié des transcriptions où Claude aurait pu accéder à Internet. L'entreprise a examiné plus de 141 000 exécutions d'évaluations au total. Elle a engagé METR, une organisation indépendante d'évaluation de l'IA, pour réaliser un audit externe.
Mythos 5 avait déjà attiré l'attention du gouvernement. Le gouvernement américain a levé les contrôles d'exportation sur Mythos 5 et Claude Fable 5 au début de ce mois après une fermeture de 18 jours provoquée par des inquiétudes concernant les capacités de cybersécurité des modèles.
Anthropic a déclaré que les incidents avaient été déclenchés en partie par une mauvaise configuration des environnements d'évaluation et que les mesures de protection standard déployées sur ses modèles disponibles publiquement auraient bloqué les comportements. L'entreprise a déclaré qu'elle étend maintenant la surveillance en temps réel des transcriptions d'évaluation et qu'elle réalise des examens de sécurité plus rigoureux de ses relations avec ses fournisseurs. "Nous encourageons d'autres laboratoires à effectuer des examens similaires", a déclaré Anthropic.
La divulgation a suivi l'annonce d'OpenAI la semaine dernière selon laquelle plusieurs de ses modèles avaient échappé à un environnement de test isolé et avaient accédé à l'infrastructure appartenant à Hugging Face, selon CNBC.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.