Copie des personnels d’OpenAI responsables de la sécurité sautent le navire

La startup d’IA de Sam Altman a récemment perdu plusieurs membres clés de son équipe Superalignment, qui était censée garantir que l’IA ne devienne pas un voyou.

Nous pouvons gagner une commission sur les liens sur cette page.
Lancer le diaporama
Lancer le diaporama
Image de l'article intitulé Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
Photo: Justin Sullivan (Getty Images)

OpenAI a lancé son Équipe Superalignement il y a près d’un an, dans le but ultime de contrôler d’hypothétiques systèmes d’IA super-intelligents et de les empêcher de se retourner contre les humains. Les gens étaient inquiets : pourquoi une équipe comme celle-ci devait-elle exister en premier lieu ? Maintenant, quelque chose de plus préoccupant s’est produit : les chefs d’équipe, Ilya Sutskever et Jan Leike, quittez OpenAI.

Publicité

La démission de la direction de Superalignment est la dernière d’une série de départs notables de l’entreprise, dont certains provenaient de l’intérieur de Sutskever et L’équipe de Leike axée sur la sécurité. En novembre 2023, Sutskever et le conseil d’administration d’OpenAI ont mené un effort raté pour évincer le PDG Sam Altman. Six Des mois plus tard, plusieurs membres du personnel d’OpenAI ont quitté l’entreprise, soit ils s’exprimaient ouvertement sur la sécurité de l’IA, soit ils travaillaient dans des équipes de sécurité clés.Sutskever a fini par s’excuser pour le coup d’État (mon mauvais mec !) et a signé une lettre aux côtés de 738 employés d’OpenAI (sur 770 au total) demandant de réintégrer Altman et le président Greg Brockman. Cependant, selon un copie de la lettre obtenue par le New York Times avec 702 signatures

(la copie publique la plus complète que Gizmodo a pu trouver), plusieurs membres du personnel qui ont maintenant démissionné n’ont pas signé la déclaration de soutien à leadership d’OpenAI ou ont été à la traîne.Les noms des membres de l’équipe Superalignment Jan Leike, Leopold Aschenbrenner et William Saunders, qui ont démissionné depuis, n’apparaissent pas à côté de plus de 700 personnes. d’autres membres d’OpenAI montrant leur soutien à Altman et Brockman dans le Fois

‘ copie. Andrej Karpathy, chercheur en IA de renommée mondiale, et Daniel Kokotajlo et Cullen O’Keefe, anciens membres d’OpenAI, n’apparaissent pas non plus dans cette première publication. version de la lettre et ont depuis quitté OpenAI. Ces personnes peuvent avoir signé la dernière version de la lettre pour signaler leur soutien, mais si tel est le cas, ils semblent avoir été les derniers à le faire.Gizmodo a contacté OpenAI pour obtenir des commentaires sur qui dirigera l’équipe de Superalignment à partir de main mais nous ne l’avons pas immédiatement fait réponse.Plus généralement, la sécurité chez OpenAI a toujours été un sujet de discorde. C’est ce qui a poussé Dario et Daniela Amodei en 2021.

pour créer leur propre entreprise d’IA

, Anthropic, aux côtés de neuf autres anciens employés d’OpenAI. Les préoccupations en sécurité étaient également ce qui aurait conduit les membres du conseil d’administration à but non lucratif d’OpenAI à évincer Altman et Brockman. Ces membres du conseil d’administration ont été remplacés par des infâmes entrepreneurs de la Silicon Valley.OpenAI compte encore de nombreuses personnes qui travaillent sur la sécurité dans l’entreprise. Après tout, la mission déclarée de la startup est de créer en toute sécurité AGI. cela profite à l’humanité ! Cela dit, voici la liste de Gizmodo des défenseurs notables de la sécurité de l’IA qui ont quitté OpenAI depuis l’éviction d’Altman. sur un ordinateur ou continuez à faire défiler le mobile. Ilya Sutskever & Jan Leike

Getty Images

Publicité
Diapositive précédente
Diapositive suivante

Getty Images

Image de l'article intitulé Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
Photo: JACK GUEZ / AFP (Getty Images), Capture d'écran: X (Getty Images)

Andreï Karpathy

Getty Images

Publicité
Diapositive précédente
Diapositive suivante

3 / 9

Karpathy, un membre fondateur d’OpenAI, a quitté l’entreprise pour la deuxième fois en février 2024. Il a remarqué à l’époque que « rien “ce qui s’est produit”, bien que son départ intervienne environ un an après qu’il ait quitté Tesla pour rejoindre OpenAI. Karpathy est largement considéré comme l’un des meilleurs esprits les plus influents et les plus respectés dans le domaine de l’intelligence artificielle. Il a travaillé sous la direction de la « marraine de l’IA » Fei-Fei Li à Stanford, une autre IA au franc-parler. défenseur de la sécurité.

Karpathy, un membre fondateur d’OpenAI, a quitté l’entreprise pour la deuxième fois en février 2024. Il a remarqué à l’époque que « rien “ce qui s’est produit”, bien que son départ intervienne environ un an après qu’il ait quitté Tesla pour rejoindre OpenAI. Karpathy est largement considéré comme l’un des meilleurs esprits les plus influents et les plus respectés dans le domaine de l’intelligence artificielle. Il a travaillé sous la direction de la « marraine de l’IA » Fei-Fei Li à Stanford, une autre IA au franc-parler. défenseur de la sécurité.

Image de l'article intitulé Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
Photo: Michael Macor/The San Francisco Chronicle (Getty Images)

Getty Images

Publicité
Diapositive précédente
Diapositive suivante

4 / 9

Helen Toner et Tasha McCauley ont été les premières victimes du retour au pouvoir de Sam Altman. Quand Altman est revenu, ces deux-là étaient absents.

Helen Toner et Tasha McCauley ont été les premières victimes du retour au pouvoir de Sam Altman. Quand Altman est revenu, ces deux-là étaient absents.

Image de l'article intitulé Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
Photo: Jerod Harris (Getty Images)

Léopold Aschenbrenner & Pavel Izmailov

Aschenbrennar était un allié connu de Sutskever et un membre de l’équipe Superalignment. Il a été licencié en avril 2024 pour avoir prétendument divulgué des informations à journalistes, selon

Publicité
Diapositive précédente
Diapositive suivante

Les informations

Image de l'article intitulé Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
Capture d'écran: The Information
Publicité
Diapositive précédente
Diapositive suivante

6 / 9

Saunders, un employé d’OpenAI au sein de Sutskever et de l’équipe Superalignment de Leike, a démissionné en février 2024, selon

Saunders, un employé d’OpenAI au sein de Sutskever et de l’équipe Superalignment de Leike, a démissionné en février 2024, selon

Image de l'article intitulé Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
Photo: Joan Cros/NurPhoto (Getty Images)

On ne sait pas exactement pourquoi il a démissionné.Daniel KokotajloGetty Images

Publicité
Diapositive précédente
Diapositive suivante

7 / 9

Kokotajlo a démissionné d’OpenAI en avril 2024, après avoir travaillé dans l’équipe de gouvernance de l’entreprise, également rapporté par Business Insider. Sur Kokotajlo

Kokotajlo a démissionné d’OpenAI en avril 2024, après avoir travaillé dans l’équipe de gouvernance de l’entreprise, également rapporté par Business Insider. Sur Kokotajlo

Image de l'article intitulé Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
Photo: Joan Cros/NurPhoto (Getty Images)

, il écrit qu’il « a quitté OpenAI en raison d’une perte de confiance dans le fait qu’il se comporterait de manière responsable au moment de l’AGI.Cullen O’KeefeO’Keefe semble avoir démissionné d’OpenAI en avril 2024 après plus de quatre ans au sein de l’équipe de gouvernance de l’entreprise, selon son site LinkedIn. O’Keefe blogue fréquemment sur la sécurité de l’IA et déclare dans un article

Publicité
Diapositive précédente
Diapositive suivante

8 / 9

il continue de poursuivre

il continue de poursuivre

Image de l'article intitulé Copie des personnels d’OpenAI responsables de la sécurité sautent le navire
Capture d'écran: YouTube

“AGI sûr et bénéfique, mais maintenant dans un rôle indépendant.”he continues to pursue “safe and beneficial AGI, but now in an independent role.”

Publicité

A version of this article originally appeared on Gizmodo.

Ce contenu a été traduit automatiquement à partir du texte original. De légères différences résultant de la traduction automatique peuvent apparaître. Pour la version originale, cliquez ici.

Publicité