Le nouveau comité de sécurité d’OpenAI a quelques suggestions

comité de surveillance indépendant du conseil d’administration, et a fait ses recommandations initiales en matière de sécurité et de sûreté pour les projets d’OpenAI, selon une publication sur le site web de l’entreprise.Zico Kolter, directeur du département d’apprentissage automatique de la School of Computer Science de Carnegie Mellon, présidera le conseil d’administration, a déclaré OpenAI. Le conseil comprend également le cofondateur et directeur général de Quora, Adam D’Angelo, le général à la retraite de l’armée américaine Paul Nakasone et Nicole Seligman, ancienne vice-présidente exécutive de Sony $SONY Corporation (

SONY). OpenAI a annoncé le Comité de sécurité et de sûreté en mai, après

démantelant son équipe de Superalignement, qui était consacrée à contrôler les dangers existentiels de l’IA. Ilya Sutskever et Jan Leike, les co-responsables de l’équipe Superalignment, ont tous deux démissionné de l’entreprise avant sa dissolution. Le comité a examiné les critères de sécurité et de sûreté d’OpenAI ainsi que les résultats des évaluations de sécurité de son

les modèles d’IA les plus récents capables de « raisonner », o1-preview

, avant son lancement, a déclaré la société. Après avoir effectué un examen de 90 jours des mesures de sécurité et des garanties d’OpenAI, le comité a fait des recommandations dans cinq domaines clés que la société dit qu’elle mettra en œuvre.

Voici ce que le comité de surveillance du conseil d’administration nouvellement indépendant d’OpenAI recommande à la start-up d’IA de faire alors qu’elle continue de développer et de déployer ses modèles.

« Établir une gouvernance indépendante pour la sûreté et la sécurité »Les dirigeants d’OpenAI devront informer le comité des évaluations de sécurité de ses principales versions de modèles, comme ils l’ont fait avec o1-preview. Le comité pourra également exercer une surveillance sur les lancements de modèles d’OpenAI aux côtés de l’ensemble du conseil d’administration, ce qui signifie qu’il peut retarder la publication d’un modèle jusqu’à ce que les problèmes de sécurité soient résolus.Cette recommandation est probablement une tentative de rétablir une certaine confiance dans la gouvernance de l’entreprise après que le conseil d’administration d’OpenAI a tenté de renverser le directeur général Sam Altman en novembre. Altman a été évincé, a déclaré le conseil d’administration, parce qu’il « n’était pas systématiquement franc dans ses communications avec le conseil d’administration.” Malgré un manque de transparence sur les raisons exactes de son licenciement, Altman était

réintégré quelques jours plus tard

.

« Renforcer les mesures de sécurité »

OpenAI a annoncé qu’elle allait embaucher davantage de personnel pour constituer des équipes d’opérations de sécurité « 24 heures sur 24 » et continuer à investir dans la sécurité de son infrastructure de recherche et de produits. Après l’examen du comité, l’entreprise a déclaré avoir trouvé des moyens de collaborer avec d’autres entreprises du secteur de l’IA sur la sécurité, notamment en développant un centre de partage et d’analyse d’informations pour signaler les renseignements sur les menaces et les informations de cybersécurité.

En février, OpenAI a déclaré avoir trouvé et fermé des comptes OpenAI appartenant à « cinq acteurs malveillants affiliés à un État » utilisant des outils d’IA, dont ChatGPT, pour mener des cyberattaques.

« Ces acteurs cherchaient généralement à utiliser les services d’OpenAI pour interroger des informations open source, traduire, trouver des erreurs de codage et exécuter des tâches de codage de base », a déclaré OpenAI dans un communiqué. OpenAI a déclaré que ses « résultats montrent que nos modèles n’offrent que des capacités limitées et incrémentielles pour les tâches de cybersécurité malveillantes ».« Être transparent sur notre travail »Bien qu’elle ait publié des fiches système détaillant les capacités et les risques de ses derniers modèles, y compris pour GPT-4o et

o1-aperçu

OpenAI a déclaré qu’il prévoyait de trouver davantage de moyens de partager et d’expliquer son travail autour de la sécurité de l’IA.

La start-up a déclaré avoir développé de nouvelles mesures de formation à la sécurité pour les capacités de raisonnement d’o1-preview, ajoutant que les modèles ont été formés « pour affiner leur processus de réflexion, essayer différentes stratégies et reconnaître leurs erreurs ». Par exemple, dans l’un des « tests de jailbreaking les plus difficiles » d’OpenAI, o1-preview a obtenu un score supérieur à GPT-4.

« Collaborer avec des organisations externes »OpenAI a déclaré qu’elle souhaitait que davantage d’évaluations de sécurité de ses modèles soient effectuées par des groupes indépendants, ajoutant qu’elle collaborait déjà avec des organisations et des laboratoires de sécurité tiers qui ne sont pas affiliés au gouvernement. La start-up travaille également avec les instituts de sécurité de l’IA aux États-Unis et au Royaume-Uni sur la recherche et les normes. En août, OpenAI et Anthropic

est parvenu à un accord

avec le gouvernement américain pour lui permettre d’accéder aux nouveaux modèles avant et après leur publication publique. « Unifier nos cadres de sécurité pour le développement et la surveillance des modèles »À mesure que ses modèles deviennent plus complexes (par exemple, elle revendique son nouveau modèle),

peut “penser”), OpenAI a déclaré qu’il s’appuyait sur ses pratiques antérieures pour lancer des modèles au public et qu’il visait à disposer d’un cadre de sécurité et de sûreté intégré. Le comité a le pouvoir d’approuver les évaluations des risques qu’OpenAI utilise pour déterminer s’il peut lancer ses modèles. Helen Toner, l’un des anciens membres du conseil d’administration d’OpenAI impliqué dans le licenciement d’Altman, a déclaré