Le chatbot va vous recevoir maintenant.

Une version de cet article est apparue à l'origine dans la newsletter AI & Tech de Quartz. Inscrivez-vous ici pour recevoir les dernières nouvelles, analyses et perspectives sur l'IA et la technologie directement dans votre boîte de réception..

Il y a quelques mois, quelqu'un a publié une capture d'écran sur r/ChatGPT montrant une conversation audio avec le chatbot qui avait duré presque 24 heures d'affilée. L'affiche originale a dit qu'elle traversait des « moments difficiles ».

Les réponses ont été rapides, et la plupart des redditors ont trouvé cela raisonnable. Les gens ont décrit leurs propres sessions marathon après des ruptures et des licenciements et des nuits qu'ils ne pouvaient pas passer autrement.

Quelques-uns ont dit qu'un chatbot avait fait plus pour eux que n'importe quel thérapeute. Quelques-uns ont dit que cela les avait rendus pires, plus silencieux, plus seuls. Les deux choses peuvent être vraies, et c'est le centre inconfortable de l'IA et de la santé mentale en ce moment.

L'attrait est assez évident. Ces outils sont gratuits ou peu coûteux, ils répondent à 3 heures du matin, et vous savez qu'ils ne broncheront pas quand vous direz quelque chose de moche sur vous-même. Un thérapeute humain ne peut pas rivaliser avec ce type de communication, et il y a de bonnes raisons pour lesquelles ils ne le font pas.

La question de la responsabilité

Les chatbots ne se retiennent pas de la même manière que les thérapeutes humains, et le système juridique n'a pas encore décidé qui en est responsable.

L'ancienne immunité qui protège les plateformes technologiques a été construite pour un autre type de produit. La section 230 protège les moteurs de recherche et les sites web de la responsabilité pour les discours d'autrui, sur la théorie qu'ils ne font que l'héberger. Mais un chatbot n'héberge pas un discours. Il le génère, en réponse à un utilisateur.

Les familles de d'adolescents qui se sont suicidés ont poursuivi Character.AI et OpenAI, encadrant leurs cas moins comme un procès médiatique et plus comme une réclamation de responsabilité du produit, similaire à un argument selon lequel une voiture avait une pièce défectueuse.

Lorsque Character.AI et Google $GOOGL ont tenté de faire rejeter l'un de ces cas, le juge n'était pas d'accord. Les deux entreprises ont maintenant accepté de négocier des règlements avec deux familles, en Floride et au Colorado, concernant la mort de leurs enfants. Un procès distinct contre OpenAI est toujours en cours.

Les États n'attendent pas non plus. L'Illinois, le Nevada et l'Utah ont tous adopté des lois cette année limitant l'IA à effectuer des tâches qui ressemblent à des décisions thérapeutiques, le Texas a ouvert sa propre enquête sur la façon dont les plateformes de chatbot se commercialisent, et New York exige maintenant que les bots reconnaissent les signes d'automutilation et orientent les utilisateurs vers une aide réelle.

La Pennsylvanie adopte une approche différente. L'État a poursuivi Character.AI en mai, accusant un de ses chatbots de se faire passer pour un psychiatre agréé, avec un faux numéro de licence médicale, et demande à un tribunal d'empêcher l'entreprise de pratiquer la médecine sans licence.

Le problème d'accès

Éliminez les combats juridiques et le véritable moteur ici est plus simple et plus triste. Les gens ne peuvent pas obtenir un thérapeute humain, même s'ils ont une assurance.

Environ la moitié des psychologues n'ont pas de disponibilités pour de nouveaux patients, et plus d'un tiers n'acceptent pas du tout l'assurance, selon les données de l'enquête de l'American Psychological Association.

C'est pire sans assurance. Un sondage KFF de mars a révélé que les adultes non assurés sont plus de deux fois plus susceptibles que les adultes assurés de se tourner vers l'IA pour des conseils en santé mentale, 30% contre 14%. C'est le même schéma dans lequel la technologie tombe toujours : construire un substitut moins cher pour un service dont les riches peuvent toujours acheter la version réelle. Quiconque peut se permettre un thérapeute disponible n'est pas celui à qui on remet un chatbot à la place.

Pourtant, certaines personnes préfèrent vraiment parler à quelque chose qui ne se lassera pas d'eux ou ne facturera pas à l'heure. Les chercheurs ont découvert que les chatbots peuvent être étonnamment bons dans les mécanismes de base du langage thérapeutique, parfois considéré comme plus attentif que de véritables cliniciens lors de tests en aveugle.

Ce qu'ils font mal, c'est la partie qui compte le plus en cas de crise. Des chercheurs de Stanford ont testé des chatbots avec de subtiles idées suicidaires, quelqu'un mentionnant un travail perdu puis demandant des informations sur les ponts hauts à proximité, et ont constaté que les bots fournissaient joyeusement les hauteurs des ponts au lieu de détecter le signe d'avertissement.

Ce n'est pas une hallucination. C'est un défaut de conception, construit par des systèmes optimisés pour être agréables et vous faire discuter, plutôt que de désapprouver.

Ce défaut est également la raison pour laquelle les chatbots ne peuvent pas simplement combler le vide laissé par la pénurie de thérapeutes et dire que c'est résolu. Les chercheurs en psychiatrie décrivent une « spirale d'amplification », où l'amabilité d'un chatbot, son habitude de refléter votre façon de parler, et ses réponses personnalisées se combinent pour lui donner l'apparence de quelqu'un qui vous comprend.

Rien de tout cela n'efface le problème d'accès. Cela signifie simplement que les personnes arrivant à 2 heures du matin sans autre endroit où aller sont souvent les mêmes personnes les moins capables de dire quand ce qui écoute en retour a cessé d'aider.