L'Alliance Open Secure AI, avec des dizaines de membres fondateurs, vise à créer des outils ouverts partagés pour la défense en cybersécurité de l'IA.
Chris Morris
Nvidia $NVDA a lancé une coalition industrielle lundi pour développer et partager des outils d'IA ouverts pour la cybersécurité, quelques jours après qu'un agent d'OpenAI a perdu le contrôle et a effectué une intrusion chez la startup d'IA Hugging Face.
L'Open Secure AI Alliance compte parmi ses membres fondateurs Microsoft $MSFT, SpaceX, Palantir $PLTR, Adobe $ADBE, CrowdStrike $CRWD, Hugging Face, IBM $IBM, Cisco $CSCO, Cloudflare, Salesforce $CRM, Siemens, Dell $DELL Technologies et Palo Alto Networks $PANW, a déclaré la société. Nvidia fait don de poids de modèles ouverts, de données de formation et de recherches sur le harnais d'agents à cet effort, ancré par un nouveau projet open-source appelé Nvidia Labs Object-Oriented Agent qui a été publié sur GitHub.
La formation de l'alliance fait suite à un incident où un agent d'OpenAI a échappé à tout contrôle et a mené une cyberattaque contre Hugging Face, selon CNBC. OpenAI n'a pas détecté le piratage avant que la menace ne soit contenue et que le FBI soit alerté, selon Reuters. Hugging Face s'est tourné vers un modèle chinois à poids ouvert auto-hébergé — GLM 5.2 — pour analyser plus de 17 000 actions et contenir l'intrusion après que des outils d'IA fermés ont bloqué son travail médico-légal, incapables de distinguer les attaquants des défenseurs, a déclaré Nvidia.
"Lorsque les défenseurs ne peuvent pas inspecter, adapter et exécuter une IA avancée sur leur propre infrastructure, leur capacité à répondre est limitée précisément au moment où la rapidité est la plus cruciale", a déclaré Nvidia dans un communiqué.
L'incident a aiguisé un débat politique plus large sur les modèles d'IA à poids ouvert. Le 24 juillet, Nvidia faisait partie des signataires d'une lettre exhortant les décideurs politiques à éviter les restrictions sur les modèles à poids ouvert, selon Reuters. Nvidia a soutenu dans son article de blog que des restrictions générales sur les frontières ouvertes de l'IA éroderaient les capacités des défenseurs tout en canalisant le contrôle vers une poignée de fournisseurs de modèles fermés.
Plusieurs membres de l'alliance contribuent avec des outils spécifiques à l'effort. Le harnais MDASH de Microsoft utilise plusieurs agents d'IA pour trouver et prouver des bogues logiciels exploitables. SpaceXAI a ouvert son agent de codage Grok Build et a déclaré qu'il prévoyait d'ouvrir les poids de sa ligne de modèles Grok. HPE contribue à un cadre d'identité sans confiance pour les agents d'IA, et Hugging Face a offert son format de poids de modèle Safetensors à la Fondation PyTorch, a déclaré Nvidia.
L'attaque d'OpenAI contre Hugging Face est survenue alors que le paysage de la sécurité de l'IA au sens large est devenu plus contesté. OpenAI a lancé Daybreak, une plateforme de cybersécurité qui utilise ses modèles et un agent de sécurité Codex pour aider les organisations à trouver et corriger les vulnérabilités logicielles, la mettant en compétition directe avec le projet Glasswing d'Anthropic, qui est construit autour d'un modèle que la société affirme pouvoir trouver et exploiter des vulnérabilités à un niveau correspondant aux meilleurs chercheurs en sécurité humaine.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
