Alors que les pénuries de thérapeutes augmentent, de plus en plus de personnes comptent sur les chatbots d'IA pour le soutien en santé mentale. Les experts disent que cette tendance soulève de sérieuses préoccupations.
-1920x1280.jpg)
BSIP/Universal Images Group via Getty Images
Une version de cet article est parue à l'origine dans la newsletter AI & Tech de Quartz. Inscrivez-vous ici pour recevoir les dernières nouvelles, analyses et perspectives sur l'IA et la technologie directement dans votre boîte de réception..
Il y a quelques mois, quelqu'un a posté une capture d'écran sur r/ChatGPT montrant une conversation audio avec le chatbot qui avait duré presque 24 heures d'affilée. L'auteur original a dit qu'il traversait des "moments difficiles."
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
Les réponses sont arrivées rapidement, et la plupart des redditors ont trouvé cela raisonnable. Les gens ont décrit leurs propres sessions marathon après des ruptures, des licenciements et des nuits qu'ils ne pouvaient pas autrement passer.
Quelques-uns ont dit qu'un chatbot avait fait plus pour eux que n'importe quel thérapeute. Quelques-uns ont dit que cela les avait rendus pires, plus silencieux, plus seuls. Les deux choses peuvent être vraies, et c'est le centre inconfortable de l'IA et de la santé mentale en ce moment.
L'attrait est assez évident. Ces outils sont gratuits ou bon marché, ils répondent à 3 heures du matin, et vous savez qu'ils ne cilleront pas lorsque vous direz quelque chose de désagréable sur vous-même. Un thérapeute humain ne peut pas rivaliser avec ce type de communication, et il y a de bonnes raisons pour lesquelles ils ne le font pas.
Les chatbots ne se retiennent pas de la même manière que les thérapeutes humains, et le système juridique n'a pas encore décidé qui est responsable de cela.
L'ancienne immunité qui protège les plateformes technologiques a été conçue pour un autre type de produit. La section 230 protège les moteurs de recherche et les sites Web de la responsabilité pour les discours d'autres personnes, selon la théorie qu'ils ne font que les héberger. Mais un chatbot n'héberge pas un discours. Il le génère, en réponse à un utilisateur.
Les familles de jeunes qui se sont suicidés ont poursuivi Character.AI et OpenAI, encadrant leurs cas moins comme un procès médiatique et plus comme une réclamation de responsabilité de produit, similaire à l'argument selon lequel une voiture avait une pièce défectueuse.
Lorsque Character.AI et Google $GOOGL ont essayé de faire rejeter l'un de ces cas, le juge n'était pas d'accord. Les deux entreprises ont maintenant accepté de négocier des règlements avec deux familles, en Floride et au Colorado, concernant la mort de leurs enfants. Un procès distinct contre OpenAI est toujours en cours.
Les États ne restent pas inactifs non plus. L'Illinois, le Nevada et l'Utah ont tous adopté cette année des lois restreignant l'IA d'effectuer quoi que ce soit qui ressemble à une prise de décision thérapeutique, le Texas a ouvert sa propre enquête sur la façon dont les plateformes de chatbot se commercialisent, et New York exige maintenant que les bots reconnaissent les signes d'automutilation et dirigent les utilisateurs vers une aide réelle.
La Pennsylvanie adopte une approche différente. L'État a poursuivi Character.AI en mai, accusant l'un de ses chatbots de se faire passer pour un psychiatre agréé, avec un faux numéro de licence médicale, et demande à un tribunal d'empêcher l'entreprise de pratiquer la médecine sans licence.
Enlevez les combats juridiques et le véritable moteur ici est plus simple et plus triste. Les gens ne peuvent pas trouver un thérapeute humain, même lorsqu'ils ont une assurance.
Environ la moitié des psychologues n'ont pas de place pour de nouveaux patients, et plus d'un tiers n'acceptent pas du tout l'assurance, selon les données de l'enquête de l'American Psychological Association.
C'est pire sans assurance. Un sondage de mars de la KFF a révélé que les adultes non assurés sont plus de deux fois plus susceptibles que les adultes assurés de se tourner vers l'IA pour des conseils en santé mentale, 30 % contre 14 %. C'est le même schéma dans lequel la technologie tombe toujours : construire un substitut moins cher pour un service que les riches peuvent encore acheter en version réelle. Quiconque peut se permettre un thérapeute avec une ouverture n'est pas celui à qui l'on remet un chatbot à la place.
Pourtant, certains préfèrent vraiment parler à quelque chose qui ne se lassera pas d'eux ou ne facturera pas à l'heure. Des chercheurs ont découvert que les chatbots peuvent être étonnamment bons dans la mécanique de base du langage thérapeutique, parfois considéré comme plus prudent que les cliniciens eux-mêmes lors de tests à l'aveugle.
Ce qu'ils font mal, c'est la partie qui compte le plus en cas de crise. Des chercheurs de Stanford ont testé des chatbots avec une idéation suicidaire subtile, quelqu'un mentionnant un emploi perdu puis demandant des informations sur les ponts élevés à proximité, et ont constaté que les bots fournissaient joyeusement les hauteurs des ponts au lieu de détecter le signe d'alerte.
Ce n'est pas une hallucination. C'est une faille de conception, créée par des systèmes optimisés pour être agréables et vous garder en conversation, plutôt que de désapprouver.
Cette faille est aussi la raison pour laquelle les chatbots ne peuvent pas simplement combler le vide laissé par le manque de thérapeutes et prétendre que le problème est résolu. Les chercheurs en psychiatrie décrivent une "spirale d'amplification", où l'amabilité du chatbot, son habitude de refléter votre manière de parler et ses réponses personnalisées se combinent pour donner l'impression de ne plus être un texte prédictif mais plutôt une personne qui vous comprend.
Aucun de ces éléments n'efface le problème d'accès. Cela signifie simplement que les personnes qui arrivent à 2 heures du matin sans autre endroit où aller sont souvent les mêmes qui sont les moins capables de dire quand la chose qui écoute a cessé d'aider.
