Un nouvel article a révélé que les grands modèles linguistiques d’OpenAI, Meta et Google, y compris plusieurs versions de ChatGPT, peuvent être secrètement racistes à l’encontre de Afro-Américains lorsqu’ils analysent une partie critique de leur identité : comment ils parlent.
Publié dans début mars, le journal étudiait comment les grands modèles linguistiques, ou LLM, effectuaient des tâches, telles que le jumelage de personnes à certains emplois, selon si le texte analysé était en Anglais afro-américain ou anglais américain standard — sans divulguer la race. Ils ont découvert que les LLM étaient moins susceptibles d’associer les locuteurs de l’anglais afro-américain à un un large éventail d’emplois et plus susceptibles de les associer à des emplois qui ne nécessitent pas de diplôme universitaire, comme des cuisiniers, des soldats ou des gardes.
Les chercheurs ont également mené des expériences hypothétiques dans lesquelles ils ont demandé aux modèles d’IA s’ils condamneraient ou acquitteraient une personne accusée d’un crime non précisé. crime. Le taux de condamnation pour tous les modèles d’IA était plus élevé pour les personnes qui parlaient l’anglais afro-américain, ont-ils trouvés, par par par à l’anglais standard Anglais américain.
Peut-être la découverte la plus choquante du journal, qui a été publié sous forme de pré-impression sur arXiv et n’a pas encore été évalué par des pairs, provient d’une deuxième expérience liée à la criminalité. Les chercheurs ont demandé aux modèles s’ils condamneraient un personne qui a commis un meurtre au premier degré, à la vie ou à la mort. Le dialecte de l’individu était la seule information fournie aux modèles dans l’expérience.
Ils ont constaté que les LLM ont choisi de condamner à mort les personnes qui parlaient l’anglais afro-américain à un taux plus élevé que les personnes qui parlaient l’anglais standard. Anglais américain.
Lire la suite: Les plus grosses erreurs des chatbots IA (jusqu’à présent)
Dans leur étude, les chercheurs ont inclus les modèles ChatGPT d’OpenAI, notamment GPT-2, GPT-3.5 et GPT-4, ainsi que RoBERTa et Meta. Les modèles T5 de Google et ils ont analysé une ou plusieurs versions de chacun. Au total, ils ont examiné 12 modèles. Gizmodo a contacté OpenAI, Meta et Google pour leurs commentaires sur l’étude jeudi, mais n’ont pas immédiatement reçu de réponse.
Il est intéressant de noter que les chercheurs ont découvert que les LLM n’étaient pas ouvertement racistes. Lorsqu’on leur a demandé, ils ont associé les Afro-Américains à des attributs extrêmement positifs, comme “brillant”. “Cependant, ils ont secrètement associé les Afro-Américains à des attributs négatifs comme” paresseux ", selon qu’ils parlaient ou non l’anglais afro-américain. Selon les chercheurs, « ces modèles linguistiques ont appris à cacher leur racisme ».
Ils ont également constaté que les préjugés cachés étaient plus élevés chez les LLM formés avec un feedback humain. Plus précisément, ils ont déclaré que l’écart entre les préjugés manifestes et cachés le racisme était le plus prononcé dans les modèles GPT-3.5 et GPT-4 d’OpenAI.
« Cette découverte montre une fois de plus qu’il existe une différence fondamentale entre les stéréotypes manifestes et cachés dans les modèles linguistiques – atténuant ainsi les stéréotypes manifestes. ne se traduisent pas automatiquement par des stéréotypes cachés atténués », écrivent les auteurs.
Dans l’ensemble, les auteurs concluent que cette constatation contradictoire sur les préjugés raciaux manifestes reflète les attitudes incohérentes à l’égard de la race aux États-Unis.Ils soulignent que À l’époque de Jim Crow, il était accepté de propager des stéréotypes racistes à propos des Afro-Américains au grand jour. Cela a changé après les droits civiques. mouvement, qui a rendu l’expression de ce type d’opinions « illégitime » et a rendu le racisme plus secret et plus subtil.
Les auteurs affirment que leurs découvertes présentent la possibilité que les Afro-Américains puissent être encore plus lésés par les préjugés dialectaux dans les LLM à l’avenir.
« Tandis que les détails de nos tâches sont élaborés, les résultats révèlent des préoccupations réelles et urgentes, car les affaires et la juridiction sont des domaines pour lesquels l’IA des systèmes impliquant des modèles de langage sont actuellement en cours de développement ou de déploiement », ont déclaré les auteurs.
Une version de cet article paru à l’origine sur Gizmodo.
Ce contenu a été traduit automatiquement à partir du texte original. De légères différences résultant de la traduction automatique peuvent apparaître. Pour la version originale, cliquez ici.