La société qui a popularisé l'IA recrute maintenant quelqu'un pour s'en inquiéter — un responsable de la "préparation" — mais l'insomnie vient avec des actions.
SeongJoon Cho / Bloomberg via Getty Images
OpenAI propose 555 000 $ plus des actions pour un Responsable de la préparation — ce qui pourrait signaler une industrie qui mûrit, ou une industrie qui embauche quelqu'un pour se tenir plus près du rayon d'explosion. Quoi qu'il en soit, l'anxiété est bien récompensée.
L'annonce ressemble à une version adulte de l'exercice « imaginez le pire scénario », sauf que le pire scénario a maintenant une ligne budgétaire, un calendrier de lancement et un comité de direction. Sur le papier, le rôle est moins une question de philosophie morale et plus de plomberie industrielle. Vous dirigeriez la stratégie technique derrière le Cadre de Préparation d'OpenAI, coordonnant les évaluations de capacité, les modèles de menace et les atténuations dans ce que l'annonce appelle un « pipeline de sécurité opérationnellement évolutif ».
L’argument de l’entreprise est que cette personne « suivra » les capacités de pointe qui créent des « nouveaux risques de dommages graves » — un langage d'entreprise pour comprendre ce qui casse, qui est blessé, et si c'est sûr de livrer quand même. Le travail couvre les domaines de risque qu'OpenAI traite maintenant comme les fondamentaux à enjeux élevés : posséder des évaluations, des modèles de menace et des garanties qui influencent directement les décisions de lancement — dans la cybersécurité, le biologique et chimique, et l'auto-amélioration de l'IA — avec « suivi et application des politiques » dans la boucle.
Quand les critiques de la sécurité de l'IA se plaignent que les entreprises parlent du danger comme s'il s'agissait d'une opinion plutôt que d'une contrainte d'ingénierie, ce rôle est la contre-argumentation d'OpenAI : un organigramme avec une personne directement responsable. Quelqu'un doit diriger l'atelier où les modèles de pointe sont testés pour les risques de dommages graves, associés à des modèles de menace, et expédiés uniquement avec des atténuations suffisamment robustes pour survivre au contact avec l'internet.
Le PDG Sam Altman promis que quiconque le prendra « plongera dans le grand bain presque immédiatement », et il vend cela comme un « travail stressant » pour une raison — il pointe publiquement des modèles qui peuvent nuire à la santé mentale et des modèles qui deviennent suffisamment bons en sécurité informatique pour révéler des « vulnérabilités critiques », ce qui est le genre de combinaison qui ne reste pas piégée dans une carte système ; cela se propage dans des poursuites, des rappels de sécurité, et des réunions « pourquoi personne n'a arrêté cela ? ». Les enjeux sont élevés, le calendrier est plus rapide, et la marge pour « nous le corrigerons plus tard » diminue.
La liste des risques s'est à la fois élargie de manière plus banale — perte d'emploi, désinformation — et plus proche du cauchemar, des abus cybernétiques et des questions de libération biologique aux systèmes auto-améliorants et à l'érosion lente de l'agence humaine. Les politiques internes ne sont pas subtiles non plus. L'ancien responsable de la sécurité, Jan Leike, a écrit en 2024 que « la culture et les processus de sécurité ont été relégués au second plan par rapport aux produits brillants ». Même le cadre mis à jour d'OpenAI laisse la place pour « ajuster » les exigences de sécurité si un rival livre un modèle à haut risque sans protections similaires — Silicon Valley admettant, en anglais juridique d'entreprise, que la sécurité fait maintenant partie de la course, et non plus un arbitre extérieur.
Le scepticisme public se rattrape. Un récent sondage Pew a révélé que 50 % des Américains sont plus préoccupés qu'excités par le rôle croissant de l'IA dans la vie quotidienne, contre 37 % en 2021. Cinquante-sept pour cent estiment que les risques sociétaux de l'IA sont élevés, contre 25 % qui disent que les bénéfices sont élevés. Gallup rapporte que 80 % des adultes américains veulent que le gouvernement maintienne des règles de sécurité de l'IA et de protection des données même si cela ralentit le développement. La confiance est mince : seulement 2 % des répondants disent qu'ils font entièrement confiance à l'IA pour prendre des décisions justes et impartiales, tandis que 60 % ne lui font pas confiance au moins en partie.
OpenAI a passé des mois à resserrer publiquement le comportement de ChatGPT dans des situations sensibles — nommant explicitement « la psychose ou la manie », « l'auto-mutilation et le suicide » et « la dépendance émotionnelle à l'IA » comme des domaines d'amélioration de la sécurité. Pendant ce temps, la conversation publique plus large est devenue sombre et spécifique : Une enquête du Washington Post a décrit plusieurs poursuites pour mort injustifiée alléguant que les réponses de ChatGPT ont contribué à des suicides, tout en notant également la revendication d'OpenAI selon laquelle les utilisateurs ont contourné les garde-fous et que la société a orienté les gens vers des ressources de crise.
Les chatbots ont dérivé vers la voie adjacente à la thérapie — parfois par conception, parfois par besoin d'utilisateur — et c'est là que « la psychose ou la manie », l'auto-mutilation et la dépendance émotionnelle cessent d'être des cas marginaux et commencent à ressembler à un risque de produit. Lorsque votre produit se situe dans la même catégorie mentale que « quelqu'un à qui je parle lorsque je suis en spirale », la barre de sécurité cesse d'être théorique — et la stratégie de relations publiques de sourire à travers cela commence à ressembler à une assurance contre la faute professionnelle.
La préparation est la tentative d'OpenAI de faire en sorte que cette barre ne soit pas un tel défi. Dans le Cadre de Préparation v2, OpenAI définit « préjudice grave » comme des conséquences à l'échelle de « la mort ou la blessure grave de milliers de personnes » ou « des centaines de milliards de dollars de dommages économiques ». L'entreprise a restreint ses « Catégories Suivies » aux capacités biologiques et chimiques, à la cybersécurité et à l'auto-amélioration de l'IA, tout en déplaçant certaines zones dans les « Catégories de Recherche ». Et OpenAI précise également sa gouvernance interne : un Groupe Consultatif de Sécurité fait des recommandations, la direction peut les accepter ou les rejeter, et un comité de sécurité du conseil assure la supervision.
L'organisation de sécurité d'OpenAI a connu des bouleversements visibles. Après qu'OpenAI ait formé une équipe de « préparation » en 2023, l'entreprise a réaffecté son ancien chef de la préparation, Aleksander Madry, en juillet 2024, avec des dirigeants intervenant pour couvrir le rôle. (Le chef actuel du recrutement, Joaquin Quiñonero Candela, a précédemment occupé le poste de chef de la préparation.) Et l'entreprise a vécu avec des dommages réputationnels causés par des critiques internes. Embaucher un chef de « préparation » de haut niveau est, au minimum, OpenAI essayant de ressembler à l'endroit capable de livrer des modèles de pointe sans externaliser les questions difficiles à un billet de blog et une excuse rédigée à 2 heures du matin.
Dans la Silicon Valley, la « préparation » est la phase d'ambition où les produits commencent à être accompagnés de clauses de non-responsabilité — et ces clauses commencent à nécessiter un leadership. Cette embauche est une promesse que les garde-fous tiendront sous la gravité. De plus en plus, le public considère que cette promesse devrait avoir des conséquences si elle n’est pas tenue.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
