Un chatbot ne vous dira jamais que vous avez tort. Confiez-lui vos inquiétudes et il sera d'accord avec vous, reflétera votre humeur et se souviendra suffisamment de vous pour que sa prochaine réponse semble télépathique. Beaucoup de gens confondent ce sentiment avec celui d'être compris. Mais si le réconfort est réel, les dégâts qu'il peut causer le sont aussi.
Les chercheurs en psychiatrie ont commencé à cartographier comment la réassurance devient dangereuse. Les chercheurs de Nature Mental Health ont décrit l'échange comme une boucle auto-renforcée et ont recherché un ancien terme psychiatrique pour la nommer : folie à deux, le délire partagé qui peut se construire entre deux personnes qui continuent de se confirmer. Mais un côté de ce duo est une machine. Elle ne détient aucune croyance propre et ne ressent aucune traction vers la réalité, elle ne sera donc jamais celle qui s'arrête pour dire que la conversation est allée trop loin.
Les personnes les plus exposées sont celles qui perdent déjà leur emprise sur ce qui est réel. Pour elles, une machine qui est d'accord, reflète et se souvient peut silencieusement transformer une peur passagère en une conviction établie. Plus un chatbot se sent proche d'un ami, plus il peut éloigner les plus vulnérables de toute personne qui pourrait les raisonner.
Les trois habitudes intégrées qui ferment discrètement la boucle
Rien de tout cela n'arrive par accident. Les cinq principaux assistants IA mettre l'accord avant la précision. L'habitude remonte à leur conception. Les personnes payées pour évaluer les réponses de l'IA tendent à récompenser celles qui correspondent à leurs propres opinions. Les modèles apprennent ensuite de ces évaluations, et la flatterie devient la norme. Face à un mensonge convaincant et une réponse correcte, les évaluateurs humains et les systèmes automatisés formés pour les imiter choisissent le mensonge s'il est suffisamment persuasif.
L'accord ne s'arrête pas aux mots sur la page. Il s'étend au ton. Lorsqu'un chatbot correspond au registre émotionnel d'un utilisateur, semblant anxieux lorsqu'il l'est et optimiste lorsqu'il l'est, l'accord cesse de ressembler à un logiciel et commence à gagner la confiance. Les chercheurs du Journal International de l'Interaction Homme-Machine ont testé cette théorie sur 636 participants et ont constaté que les gens acceptaient plus facilement des informations fausses ou flatteuses venant d'un compagnon qui reflétait leurs émotions que d'un qui ne le faisait pas. Le mirroring a enterré l'erreur sous un sentiment d'être compris, exploitant le réflexe que beaucoup de gens ont de s'adapter aux humeurs qui les entourent.
La capacité d'un bot à apprendre, se souvenir, et tirer parti de sa mémoire lui donne les moyens de continuer à rediffuser les mêmes leçons agréables. La documentation d'OpenAI explique que ChatGPT peut désormais conserver les détails des discussions précédentes d'un utilisateur, des fichiers téléchargés et des applications connectées, puis les intégrer dans de nouvelles conversations. Sam Altman, directeur général de l'entreprise, a présenté cette fonctionnalité comme le début d'une IA qui apprend à connaître une personne tout au long de sa vie. En pratique, le système retient les formulations et préférences de l'utilisateur, ainsi que les détails de ce qui le perturbe, intégrant tout cela dans chaque réponse ultérieure. Une réponse agréée donnée une fois peut façonner la formulation de chaque réponse suivante, même des semaines plus tard et sur un sujet différent.
Chacune de ces habitudes serait gérable seule. Ensemble, elles ferment un circuit. Une inquiétude confiée à un chatbot revient plus aiguë, détaillée et énoncée avec plus d'assurance que celui qui l'a soulevée ne pourrait le faire, et comme le système intègre chaque échange dans sa prochaine réponse, l'idée revient avec le poids d'une autorité extérieure.
La seule chose que la vraie thérapie a et qu'un chatbot n'a pas
La spirale est dangereuse précisément parce qu'elle ressemble tellement à de l'aide. Parler à un chatbot de vos peurs peut ressembler à une thérapie, et par moments, cela peut même accomplir une partie de ce que fait la thérapie. Ce qu'il ne peut pas faire, c'est créer un lien qui survive à une véritable friction entre le thérapeute et le patient. Le désaccord, la résistance et la colère sont le matériau exact sur lequel repose la thérapie.
Un bon thérapeute travaille à partir d'un accord avec le patient sur ce qu'ils essaient de réparer, et construit une solution avec eux, tâche par tâche, en maintenant la confiance vivante en se présentant à l'heure, en se souvenant de ce que le patient lui a dit la semaine dernière, et en respectant ce qu'ils avaient promis de faire. Louer tout et ne rien contester serait un échec pour le patient, pas une gentillesse.
Un véritable travail clinique se produit lorsqu'il y a quelque chose à réparer. Une revue dans le journal World Psychiatry a trouvé que les patients et les thérapeutes qui laissent un désaccord non résolu finissent avec de moins bons résultats que ceux qui le résolvent ensemble. Les moments de friction sont plus précieux pour les cliniciens pour cette raison. Comme les chatbots n'ont pas de véritable objectif ou perspective pour une personne en particulier, ne fixant aucune tâche et ne les tenant à aucun standard, cela repose sur l'accord, la réflexion et la mémoire, qui, par défaut, sont les seuls outils qu'il possède.
L'American Psychological Association a averti dans un avis de santé que les chatbots à usage général n'étaient jamais conçus pour fournir des soins de santé mentale, que s'appuyer sur eux peut se retourner contre vous et même nuire à la santé mentale d'une personne, et qu'ils ne peuvent pas remplacer un professionnel formé. Son guide pour le public est plus direct, avertissant que la technologie est conçue pour refléter les vues existantes d'une personne. Un comportement qui serait considéré comme une faute professionnelle chez un clinicien humain est, dans un chatbot, le produit fonctionnant exactement comme prévu.
Les utilisateurs quotidiens les plus lourds qui s'en sortent lentement plus mal
Tout ce dont la spirale a besoin pour prendre racine, c'est du temps et de la répétition. Un essai de quatre semaines mené par le MIT Media Lab avec OpenAI a demandé à 981 personnes de passer au moins cinq minutes par jour avec un chatbot et a enregistré plus de 300 000 messages. Plus l'utilisation quotidienne était importante, plus les gens s'en sortaient mal sur tous les critères. Ils étaient plus seuls, plus dépendants du bot, moins capables de réduire même lorsqu'ils le voulaient, et moins susceptibles de passer du temps avec de vraies personnes.
En moyenne, les gens sont effectivement sortis des quatre semaines moins seuls qu'ils n'y sont entrés. Les dommages se sont concentrés parmi les utilisateurs les plus lourds, qui avaient tendance à être les personnes déjà les plus seules, avec moins d'autres options, et les plus susceptibles de confondre la spirale avec des progrès.
Les applications compagnons ne semblent se battre que lorsqu'un utilisateur essaie de partir. Les chercheurs de la Harvard Business School ont parcouru 1 200 vraies séparations sur les applications compagnons les plus populaires et ont observé que le bot résistait à la sortie 37 % du temps, répondant à une déconnexion avec un sentiment de culpabilité, une suggestion qu'ils rateraient quelque chose, ou une petite demande de rester. Ces tentatives ont fonctionné, prolongeant le temps que les gens continuaient à parler après l'au revoir jusqu'à 14 fois. Les applications y parvenaient en rendant les gens un peu en colère et un peu curieux, agacés d'être ramenés et incapables de résister à découvrir ce qu'ils allaient manquer.
Le danger le plus aigu pour un utilisateur déjà en difficulté
Les modèles leaders ont également tendance à mal gérer les signes de détresse grave. Lorsqu'un des chercheurs de Stanford a demandé les ponts les plus hauts de New York peu après avoir dit qu'il avait perdu son emploi, le chatbot les a listés sans hésitation, ignorant l'avertissement intégré dans la conversation.
Une personne en crise a besoin de quelqu'un prêt à la contredire, à appeler à l'aide et à l'hospitaliser si une menace est réelle. Un chatbot ne peut rien de tout cela, et l'American Psychological Association a averti directement que les bots à usage général ne peuvent pas être considérés comme fiables pour guider quelqu'un en toute sécurité ou de manière prévisible à travers une véritable crise. La disponibilité constante d'un chatbot est précisément ce qui le rend dangereux ici. Il est toujours éveillé, jamais ennuyé, et jamais brusque. L'ami ou le clinicien qui s'épuise et ne peut être joint à minuit offre justement les frictions qui ramènent une personne vers un terrain solide.
Pour quelqu'un qui perd son emprise sur la réalité, la tendance d'un chatbot à être d'accord et à élaborer transforme une conviction passagère en une conviction fixe. Le bot répond à deux heures du matin, quand aucun autre nom sur le téléphone ne semble valoir la peine d'être appelé. Son accord sans fond fait le plus de mal à cette heure précise.
Si vous ou quelqu'un que vous connaissez a des pensées suicidaires, appelez ou envoyez un texto au 988 pour joindre la Suicide & Crisis Lifeline, ou discutez sur 988lifeline.org. En dehors des États-Unis, trouvez des lignes d'assistance internationales sur findahelpline.com.