Alors que les pénuries de thérapeutes augmentent, de plus en plus de personnes comptent sur les chatbots IA pour un soutien en santé mentale. Les experts affirment que cette tendance soulève de graves préoccupations.
-1920x1280.jpg)
BSIP/Universal Images Group via Getty Images
Une version de cet article est initialement parue dans la newsletter AI & Tech de Quartz. Inscrivez-vous ici pour recevoir les dernières nouvelles, analyses et informations sur l'IA et la technologie directement dans votre boîte de réception..
Il y a quelques mois, quelqu'un a publié une capture d'écran sur r/ChatGPT montrant une conversation audio avec le chatbot qui avait duré presque 24 heures d'affilée. Le posteur original a dit qu'il traversait « des moments difficiles ».
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
Les réponses ont été rapides, et la plupart des redditors ont trouvé cela raisonnable. Les gens ont décrit leurs propres sessions marathon après des ruptures, des licenciements et des nuits qu'ils ne pouvaient pas traverser autrement.
Quelques-uns ont dit qu'un chatbot avait fait plus pour eux que n'importe quel thérapeute. Quelques-uns ont dit que cela les rendait pires, plus silencieux, plus seuls. Les deux choses peuvent être vraies, et c'est le centre inconfortable de l'IA et de la santé mentale en ce moment.
L'attrait est assez évident. Ces outils sont gratuits ou peu coûteux, ils répondent à 3h du matin, et vous savez qu'ils ne broncheront pas lorsque vous dites quelque chose de moche sur vous-même. Un thérapeute humain ne peut pas rivaliser avec ce type de communication, et il y a de bonnes raisons pour lesquelles ils ne tentent pas de le faire.
Les chatbots ne se retiennent pas de la même manière que les thérapeutes humains, et le système juridique n'a pas encore décidé qui en répondra.
La ancienne immunité qui protège les plateformes technologiques a été construite pour un autre type de produit. La Section 230 protège les moteurs de recherche et les sites web de la responsabilité pour les discours des autres, sur la théorie qu'ils ne font que les héberger. Mais un chatbot n'héberge pas un discours. Il le génère, en réponse à un utilisateur.
Les familles de adolescents qui se sont suicidés ont poursuivi Character.AI et OpenAI, encadrant leurs cas moins comme un procès médiatique et plus comme une réclamation de responsabilité du produit, similaire à l'argumentation qu'une voiture avait une pièce défectueuse.
Lorsque Character.AI et Google $GOOGL ont tenté de faire rejeter l'un de ces cas, le juge n'était pas d'accord. Les deux entreprises ont maintenant accepté de négocier un règlement avec deux familles, en Floride et au Colorado, concernant la mort de leurs enfants. Une action distincte contre OpenAI est toujours en cours devant les tribunaux.
États n'attendent pas non plus. L'Illinois, le Nevada et l'Utah ont tous adopté des lois cette année restreignant l'IA à effectuer quoi que ce soit qui ressemble à une prise de décision thérapeutique, le Texas a ouvert sa propre enquête sur la façon dont les plateformes de chatbot se commercialisent, et New York exige désormais que les bots reconnaissent les signes d'automutilation et orientent les utilisateurs vers une véritable aide.
La Pennsylvanie prend une approche différente. L'État a poursuivi Character.AI en mai, accusant l'un de ses chatbots de se faire passer pour un psychiatre agréé, avec un faux numéro de licence médicale, et demande au tribunal d'empêcher l'entreprise de pratiquer la médecine sans licence.
Enlevez les querelles juridiques et le véritable moteur ici est plus simple et plus triste. Les gens ne peuvent pas obtenir un thérapeute humain, même lorsqu'ils ont une assurance.
Environ la moitié des psychologues n'ont pas de créneaux pour de nouveaux patients, et plus d'un tiers n'acceptent pas d'assurance du tout, selon les données de l'enquête de l'American Psychological Association.
C'est pire sans assurance. Un sondage de mars de KFF ont constaté que les adultes non assurés sont plus de deux fois plus susceptibles que les adultes assurés de se tourner vers l'IA pour des conseils en santé mentale, 30 % contre 14 %. C'est le même schéma que la technologie suit toujours : créer un substitut moins cher pour un service que les riches peuvent toujours se payer la version réelle. Toute personne pouvant se permettre un thérapeute disponible n'est pas celle à qui on donne un chatbot à la place.
Cependant, certaines personnes préfèrent vraiment parler à quelque chose qui ne se lassera pas d'eux ou ne facturera pas à l'heure. Les chercheurs ont constaté que les chatbots peuvent être remarquablement bons dans les mécanismes de base du langage thérapeutique, parfois considérés comme plus prudents que les vrais cliniciens lors de tests à l'aveugle.
Ce à quoi ils sont mauvais, c'est la partie qui compte le plus en cas de crise. Les chercheurs de Stanford ont testé les chatbots avec des idées suicidaires subtiles, quelqu'un mentionnant un emploi perdu puis demandant les ponts les plus hauts à proximité, et ont constaté que les bots fournissaient joyeusement les hauteurs des ponts au lieu de saisir le signe avant-coureur.
Ce n'est pas une hallucination. C'est un défaut de conception, construit par des systèmes optimisés pour être agréables et vous faire discuter, plutôt que de désapprouver.
Ce défaut est également la raison pour laquelle les chatbots ne peuvent pas simplement combler le vide laissé par la pénurie de thérapeutes et dire que c'est résolu. Les chercheurs en psychiatrie décrivent une "spirale d'amplification", où la convivialité d'un chatbot,, son habitude de refléter votre façon de parler, et ses réponses personnalisées se combinent pour le faire sentir moins comme un texte prédictif et plus comme quelqu'un qui vous comprend.
Rien de tout cela n'efface le problème d'accès. Cela signifie simplement que les personnes arrivant à 2 heures du matin sans autre endroit où aller sont souvent les mêmes personnes les moins capables de dire quand la chose qui écoute a cessé d'aider.