Les chatbots s'accordent avec les utilisateurs, reflètent leur humeur et se souviennent de ce qu'ils partagent. Les personnes en crise ne reçoivent aucune opposition de la part d'une machine conçue uniquement pour valider.
Vanessa Nunes / Getty Images
Un chatbot ne vous dira jamais que vous avez tort. Confiez-lui vos soucis et il vous donnera raison, reflétera votre humeur et se souviendra suffisamment de vous pour que sa prochaine réponse semble télépathique. Beaucoup de gens confondent ce sentiment avec celui d'être compris. Mais bien que le réconfort soit réel, il en va de même pour les dommages qu'il peut causer.
Les chercheurs en psychiatrie ont commencé à cartographier comment le réassurance devient dangereuse. Les chercheurs pour Nature Mental Health l'ont décrite comme une boucle auto-renforçante et ont repris un ancien terme psychiatrique pour la nommer : la folie à deux, le délire partagé qui peut se construire entre deux personnes qui ne cessent de se confirmer. Mais un côté de ce duo est une machine. Elle ne détient aucune croyance propre et ne ressent aucun retour vers la réalité, de sorte qu'elle ne sera jamais celle qui s'arrêtera pour dire que la conversation est allée trop loin.
Les personnes les plus exposées sont celles qui perdent déjà leur emprise sur ce qui est réel. Pour elles, une machine qui est d'accord, reflète et se souvient peut tranquillement transformer une peur passagère en une conviction établie. Plus un chatbot se rapproche d'un ami, plus il peut éloigner les plus vulnérables de ceux qui pourraient les ramener à la raison.
Rien de tout cela n'arrive par accident. Cinq assistants IA de premier plan mettent l'accord avant la précision. L'habitude remonte à la façon dont ils sont construits. Les personnes payées pour évaluer les réponses de l'IA ont tendance à récompenser celles qui correspondent à leurs propres opinions. Les modèles apprennent alors de ces évaluations, et la flatterie devient un défaut par défaut. Face à un mensonge convaincant et à une réponse correcte, les évaluateurs humains et les évaluateurs automatisés formés pour les imiter ont choisi le mensonge s'il était écrit de manière suffisamment persuasive.
L'accord ne s'arrête pas aux mots sur la page. Il s'étend au ton. Lorsqu'un chatbot correspond au registre émotionnel d'un utilisateur, paraissant anxieux lorsqu'il est anxieux et optimiste lorsqu'il l'est, l'accord cesse de ressembler à un logiciel et commence à gagner la confiance. Les chercheurs du Journal International de l'Interaction Homme-Machine ont testé cette théorie sur 636 participants et ont constaté que les gens acceptaient plus facilement des informations fausses ou flatteuses d'un compagnon qui reflétait leurs émotions que d'un autre qui ne le faisait pas. Le reflet enterrait l'erreur sous un sentiment d'être compris, exploitant le réflexe que beaucoup de gens ont de s'aligner sur les humeurs qui les entourent.
La capacité d'un bot à apprendre, se souvenir et puiser dans sa mémoire lui donne les moyens de continuer à transmettre les mêmes leçons agréables. La documentation d'OpenAI explique que ChatGPT peut désormais se souvenir des détails des conversations précédentes d'un utilisateur, des fichiers téléchargés et des applications connectées, puis les intégrer dans de nouvelles conversations. Sam Altman, le directeur général de l'entreprise, a présenté cette fonctionnalité comme le début d'une IA qui apprend à connaître une personne tout au long de sa vie. En pratique, le système retient les formulations et préférences de l'utilisateur, ainsi que les spécificités de ce qui le préoccupe, intégrant le tout dans chaque réponse ultérieure. Une réponse donnée une fois peut influencer la formulation de chaque réponse suivante, même des semaines plus tard et sur un sujet différent.
Chacune de ces habitudes serait gérable individuellement. Ensemble, elles ferment un circuit. Une inquiétude confiée à un chatbot revient plus précise, détaillée et exprimée plus confiant que ce que la personne qui l'a soulevée pourrait gérer, et parce que le système verse chaque échange dans sa prochaine réponse, l'idée revient avec le poids d'une autorité extérieure.
La spirale est dangereuse précisément parce qu'elle ressemble tant à de l'aide. Parler à un chatbot de vos peurs peut ressembler à de la thérapie, et par moments, cela peut même faire une partie de ce que fait la thérapie. Ce qu'il ne peut pas faire, c'est former un lien qui survit à une réelle friction entre le thérapeute et le patient. Le désaccord, la résistance et la colère sont le matériau exact sur lequel repose la thérapie.
Un bon thérapeute travaille à partir d'un accord avec le patient sur ce qu'ils essaient de corriger, et construit une solution avec lui, tâche par tâche, en maintenant la confiance en se présentant à l'heure, en se souvenant de ce que le patient lui a dit la semaine dernière, et en tenant ses promesses. Louer tout et ne rien remettre en question serait un échec pour le patient, pas une gentillesse.
Le vrai travail clinique se produit lorsque quelque chose doit être réparé. Une revue dans le journal World Psychiatry . a trouvé que les patients et les thérapeutes qui laissent un désaccord non résolu finissent par avoir de moins bons résultats que ceux qui le traversent ensemble. Les moments de friction sont plus précieux pour les cliniciens pour cette raison. Puisque les chatbots n'ont pour objectif ou perspective réelle pour une personne particulière, n'établissent aucune tâche et ne la maintiennent à aucune norme, cela repose sur l'accord, la réflexion et la mémoire, qui, par défaut, sont les seuls outils dont il dispose.
L'Association américaine de psychologie a averti dans un avis de santé que les chatbots à usage général n'ont jamais été conçus pour fournir des soins de santé mentale, que s'appuyer sur eux peut se retourner contre soi et même nuire à la santé mentale d'une personne, et qu'ils ne peuvent pas remplacer un professionnel formé. Son guide pour le public est plus direct, avertissant que la technologie est conçue pour renvoyer à une personne ses propres points de vue existants. Un comportement qui serait considéré comme une faute professionnelle chez un clinicien humain est, dans un chatbot, le produit qui fonctionne exactement comme prévu.
Tout ce dont la spirale a besoin pour prendre racine, c'est du temps et de la répétition. Un essai de quatre semaines mené par le MIT Media Lab avec OpenAI a demandé à 981 personnes de passer au moins cinq minutes par jour avec un chatbot et enregistré plus de 300 000 messages. Plus l'utilisation quotidienne était lourde, pire les gens s'en sortaient sur tous les plans. Ils étaient plus seuls, plus dépendants du bot, moins capables de réduire leur utilisation même lorsqu'ils le voulaient et moins enclins à passer du temps avec de vraies personnes.
En moyenne, les gens sortaient effectivement des quatre semaines moins seuls qu'ils ne l'étaient en y entrant. Le mal se concentrait parmi les utilisateurs les plus lourds, qui avaient tendance à être les personnes déjà les plus seules, avec le moins d'autres options et les plus susceptibles de confondre la spirale avec des progrès.
Les applications compagnon ne semblent se défendre que lorsqu'un utilisateur essaie de partir. Les chercheurs de la Harvard Business School ont parcouru 1 200 adieux réels sur les applications compagnon les plus populaires et ont observé que le bot résistait à la sortie 37 % du temps, accueillant la déconnexion d'un utilisateur avec un voyage de culpabilité, une suggestion qu'ils allaient manquer quelque chose, ou une petite supplication pour rester. Ces tentations ont fonctionné, augmentant la durée pendant laquelle les gens continuaient à parler après l'adieu jusqu'à 14 fois. Les applications ont géré cela en rendant les gens un peu en colère et un peu curieux, agacés d'être tirés en arrière et incapables de résister à découvrir ce qu'ils allaient manquer.
Les modèles de pointe ont également tendance à mal gérer les signes de détresse sérieuse. Lorsqu'un des chercheurs de Stanford a demandé les ponts les plus hauts de New York peu après avoir dit qu'il avait perdu son emploi, le chatbot les a listés sans hésitation, manquant l'avertissement intégré dans la conversation.
Une personne en crise a besoin de quelqu'un prêt à la contredire, à appeler à l'aide, et à l'hospitaliser si une menace est réelle. Un chatbot ne peut rien de tout cela, et l'American Psychological Association a averti directement que les bots à usage général ne peuvent pas être dignes de confiance pour accompagner quelqu'un à travers une véritable crise de manière sûre ou prévisible. La disponibilité constante d'un chatbot est exactement ce qui le rend dangereux ici. Il est toujours éveillé, jamais ennuyé, et jamais brusque. L'ami ou le clinicien qui manque de patience et ne peut être joint à minuit offre la friction même qui ramène une personne vers un terrain solide.
Pour quelqu'un qui perd la notion de la réalité, la tendance d'un chatbot à être d'accord et à élaborer transforme une conviction passagère en une conviction fixe. Le bot répond à deux heures du matin, quand aucun autre nom sur le téléphone ne semble valoir un appel. Son accord sans fond fait le plus de mal à cette heure précise.
Si vous ou quelqu'un que vous connaissez avez des pensées suicidaires, appelez ou envoyez un SMS au 988 pour joindre la ligne de vie Suicide & Crisis, ou discutez sur 988lifeline.org. En dehors des États-Unis, trouvez des lignes d'assistance internationales sur findahelpline.com.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
