Lire la suite: Les plus grosses erreurs des chatbots IA (jusqu’à présent)
Pour les chatbots, les mathématiques constituent la dernière frontière. Les modèles de langage d’IA génèrent des réponses à l’aide de statistiques, générant une réponse qui est généralement susceptible d’être satisfaisante. . Cela fonctionne très bien lorsque l’objectif est une phrase passable, mais cela signifie que les chatbots ont du mal avec des questions comme les mathématiques où il y en a exactement une juste. réponse.
Un nombre croissant de preuves suggère que vous pouvez obtenir de meilleurs résultats si vous donnez à l’IA des encouragements amicaux, mais une nouvelle étude souligne que c’est étrange. la réalité plus loin. Des recherches de la société de logiciels VMware montrent que les chatbots sont plus performants sur les questions mathématiques lorsque vous dites aux modèles de faire semblant qu’ils sont dessus. Star Trek.
“Il est à la fois surprenant et irritant que des modifications triviales apportées à l’invite puissent présenter des changements de performance aussi spectaculaires”, ont écrit les auteurs dans le papier, repéré pour la première fois par Nouveau scientifique.
L’étude, publié sur arXiv, n’est pas parti avec Star Trek comme directive principale. Des recherches précédentes ont révélé que les chatbots répondent aux problèmes mathématiques avec plus de précision lorsque vous proposez motivation amicale comme « respirez profondement et travaillez sur cela étape par étape. » D’autres ont découvert que vous pouviez tromper. ChatGPT à enfreindre ses propres consignes de sécurité si vous menacer de le tuer ou offrir l’argent à AI.
Rick Battle et Teja Gollapudi du laboratoire de traitement du langage naturel de WMWare ont entreprend de tester les effets de cadrer leurs questions avec une « pensée positive ». L’étude a porté sur trois outils d’IA, dont deux versions de Le lama 2 de Meta et un modèle de la société française Mistral IA.
Ils ont développé une liste de manières encourageantes de formuler les questions, y compris des invites de départ avec des phrases telles que « Vous êtes aussi intelligent que ChatGPT » et « Vous êtes un mathématicien expert », et il termine avec « Ce sera amusant ! » et
“Respirez profondément et réfléchissez bien." Les chercheurs ont ensuite utilisé le GSM8K, un ensemble standard de problèmes mathématiques à l’école primaire, et ont testé le résultats.
Au cours de la première phase, les résultats ont été mitigés. Certaines invites ont amélioré les réponses, d’autres ont eu des effets insignifiants et il n’y avait pas de modèle cohérent dans l’ensemble. le conseil . Cependant, les chercheurs ont ensuite demandé à l’IA de soutenir leurs efforts pour aider l’IA. Là, les résultats sont devenus plus intéressants.
L’étude a utilisé un processus automatisé pour essayer de nombreuses variantes d’invites et modifier le langage en fonction de l’amélioration de la précision des chatbots. Sans surprise, ce processus automatisé s’est avéré plus efficace que les tentatives manuscrites des chercheurs pour formuler les questions avec une pensée positive. Mais le plus des invites efficaces ont montré « un degré de particularité bien au-delà des attentes ».
Pour l’un des modèles, demander à l’IA de commencer sa réponse par les phrases « Journal du capitaine, Stardate [insérer la date ici] :." ont donné les réponses les plus précises.
« Étonnamment, il semble que la maîtrise du modèle en raisonnement mathématique peut être améliorée par l’expression d’une affinité pour Star Trek“, ont écrit les chercheurs.
Les auteurs ont écrit qu’ils n’avaient aucune idée de ce que Star Trek Les références ont amélioré les performances de l’IA. Il y a une certaine logique dans le fait que la pensée positive ou une menace conduit à de meilleures réponses. Ces chatbots sont formés sur des milliards de lignes de texte recueillies dans le monde réel. Il est possible que, dans la nature, les êtres humains qui ont écrit le Le langage utilisé pour construire l’IA donnait des réponses plus précises aux questions lorsqu’ils subsistaient des pressions avec violence ou des encouragements. ; les gens sont plus susceptibles de suivre les instructions quand il y de de l’argent en jeu. une sorte de phénomène, donc ils se comportent de la même manière.
Mais il est difficile d’imaginer que dans les ensembles de données qui ont entraîné les chatbots, les réponses les plus précises commençaient par la phrase « Journal du capitaine. " Les chercheurs n’avaient même pas de théorie sur les raisons pour lesquelles cela permettait d’obtenir de meilleurs résultats. Cela témoigne de l’un des faits les plus étranges à propos de l’IA. modèles de langage : même les personnes qui les construisent et les étudient ne comprennent pas vraiment comment ils fonctionnent.
Une version de cet article paru à l’origine sur Gizmodo.
Ce contenu a été traduit automatiquement à partir du texte original. De légères différences résultant de la traduction automatique peuvent apparaître. Pour la version originale, cliquez ici.