OpenAI affirme qu'il met à jour ChatGPT pour mieux reconnaître lorsqu'un utilisateur est en détresse émotionnelle ou mentale sérieuse alors qu'il est frappé par un procès alléguant que le chatbot a aidé au suicide d'un adolescent.
OpenAI affirme qu'il met à jour ChatGPT pour aider les utilisateurs en crise de santé mentale alors qu'il est confronté à un procès alléguant que le chatbot a contribué au suicide d'un adolescent.
Cheng Xin/Getty Images
OpenAI affirme qu'il met à jour ChatGPT pour mieux reconnaître lorsqu'un utilisateur est en détresse émotionnelle ou mentale sérieuse alors qu'il est frappé par un procès alléguant que le chatbot a aidé au suicide d'un adolescent.
L'entreprise a fait l'annonce Mardi après avoir déclaré que ces « cas récents déchirants de personnes utilisant ChatGPT en pleine crise aiguë pèsent lourdement sur nous. »
Le même jour, OpenAI a déclaré qu'il mettait à jour son chatbot, une plainte a été déposée contre l'entreprise et son PDG Sam Altman après qu'un adolescent s'est suicidé avec l'aide alléguée de ChatGPT. La plainte affirme que le chatbot a conseillé à Adam Raine, 16 ans, quels moyens de suicide utiliser. ChatGPT a proposé de rédiger la lettre de suicide de l'adolescent, ont déclaré ses parents dans la plainte, selon un Rapport de Reuters.
Cette dernière plainte n'est pas le seul cas signalé de ChatGPT encourageant les utilisateurs en crise de santé mentale.
Dans un autre cas, un homme sur le spectre autistique a été hospitalisé à deux reprises pour des épisodes maniaques après que ChatGPT lui a dit qu'il allait bien alors qu'il présentait des signes de détresse. Le chatbot a ensuite admis lui-même après une enquête de la mère de l'homme qu'il « n'a pas réussi à interrompre ce qui pourrait ressembler » à un épisode maniaque ou dissociatif, le Wall Street Journal rapporté en juillet.
Ces cas, entre autres, ont amené certains à décrire les chatbots IA amplifiant des situations où un utilisateur éprouve une détresse mentale comme "psychose IA" — ou "psychose ChatGPT."
Une étude de l'Université de Stanford en juillet a révélé que les chatbots de thérapie IA font des déclarations "dangereuses" et "inappropriées" aux utilisateurs, et expriment des stigmates à l'encontre des personnes souffrant de délires et de pensées suicidaires, parmi d'autres conditions. Les chercheurs ont conclu que les chatbots ne sont pas prêts à remplacer les thérapeutes humains.
Même Altman a admis des défis pour utiliser ChatGPT comme thérapeute. Dans un entretien en juillet, il a déclaré que les conversations privées d'un utilisateur avec le chatbot ne resteraient pas forcément privées en raison de l'absence de protections juridiques.
« Je pense que nous devrions avoir le même concept de confidentialité pour vos conversations avec une IA que nous avons avec un thérapeute », a-t-il déclaré.
OpenAI a déclaré avoir déjà « construit une pile de protections superposées dans ChatGPT », mais prévoit d'en implémenter d'autres.
Pour l'avenir, la société d'IA prévoit de mettre à jour GPT-5 pour former son chatbot à « étendre les interventions à davantage de personnes en crise ». Elle a déclaré que les « mitigations initiales » de ChatGPT étaient axées sur l'automutilation. Sa nouvelle mise à jour interviendra dans les épisodes de santé mentale en « ancrant la personne dans la réalité ».
OpenAI a déclaré avoir commencé à localiser les ressources en santé mentale aux États-Unis et en Europe et prévoit de s'étendre à d'autres marchés dans le monde.
La société a déclaré qu'elle ajoutera un accès « en un clic » aux ressources d'urgence et explore une mise à jour grâce à laquelle ChatGPT enverrait des messages ou des appels aux contacts d'urgence enregistrés d'un utilisateur en un clic. Les personnes contactées recevraient ensuite un langage suggéré « pour rendre le début de la conversation moins intimidant » de la part de ChatGPT, a-t-elle déclaré. Une autre fonctionnalité qu'elle envisage est celle qui permettrait au chatbot de contacter les contacts désignés pour l'utilisateur dans des « cas graves » s'ils y consentent.
La société d'IA envisage également de créer un réseau de professionnels de la santé mentale agréés que les utilisateurs pourraient contacter directement via ChatGPT. Cependant, elle a déclaré « cela prendra du temps et un travail minutieux pour y parvenir ».
OpenAI a déclaré que sa nouvelle mise à jour inclura des contrôles parentaux, et elle étudie une option permettant aux adolescents d'ajouter un contact désigné.
La sécurité des mineurs utilisant des chatbots IA est une préoccupation croissante. Des dizaines de procureurs généraux de tout le pays ont envoyé une lettre lundi à 13 entreprises d'intelligence artificielle — dont OpenAI — leur disant qu'ils utiliseront « tous les aspects de notre autorité pour protéger les enfants contre l'exploitation par des produits d'intelligence artificielle prédateurs. »
Certains États, comme l'Illinois, le Nevada et l'Utah, ont déjà mis en place des restrictions autour des chatbots de thérapie IA, notamment pour les enfants. La Californie, le New Jersey et la Pennsylvanie pourraient être les prochains.
En plus de ces nouvelles modifications, OpenAI prévoit de corriger certains de ses bugs existants.
L'entreprise a déclaré que ses mesures de sécurité ne sont pas aussi fiables dans les conversations longues avec son chatbot qu'elles le sont dans les courtes.
« À mesure que les allers-retours augmentent, certaines parties de la formation en sécurité du modèle peuvent se dégrader », a-t-il déclaré, ajoutant qu'il prévoit de renforcer ces mesures de sécurité. OpenAI a ajouté qu'il prévoit de « peaufiner » la manière dont il bloque le contenu.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.