Pour aggraver les choses, les programmeurs de l’étude ignoraient souvent la désinformation.
Les chatbots d’intelligence artificielle comme ChatGPT d’OpenAI sont vendus comme des outils révolutionnaires qui peuvent aider les travailleurs à devenir plus efficaces dans leur travail, peut-être en les remplaçant. des gens entièrement dans le futur. Mais un stupéfiant nouvelle étude a constaté que ChatGPT répond de manière incorrecte aux questions de programmation informatique dans 52 % des cas.
Les recherches de l’Université Purdue, repérées pour la première fois par les médias Futurisme, a été présenté plus tôt ce mois au Conférence sur l’interaction ordinateur-humain à Hawaï et a examiné 517 questions de programmation sur Stack Overflow qui ont ensuite été transmises à ChatGPT.
« Notre analyse montre que 52 % des réponses ChatGPT contiennent des informations incorrectes et 77 % sont verbeuses », explique la nouvelle étude. les participants à l’étude sur les utilisateurs préféraient toujours les réponses ChatGPT 35 % du temps en raison de leur exhaustivité et de leur style de langage bien articulé.
Il est troublant de constater que les programmeurs de l’étude n’ont pas toujours détecté les erreurs produites par le chatbot IA.
“Cependant, ils ont également négligé la désinformation dans les réponses de ChatGPT 39% du temps”, selon l’étude. « Cela implique la nécessité pour contrer la désinformation dans les réponses de ChatGPT aux questions de programmation et sensibiliser aux risques associés à des réponses apparemment correctes.
Évidemment, ce ci est juste une étude qui est disponible pour lire en ligne, mais ce met en pointe des problèmes aux quels qui qui utilise ces outils peuvent s’identifier. Les grandes entreprises de technologie injectent des milliards de dollars dans L’IA dès maintenant dans le but de fournir les chatbots les plus fiables. Meta $META, Microsoft $MSFT et Google $GOOGL sont tous dans une course pour dominer. un espace émergent qui a le potentiel de remodeler radicalement notre relation avec Internet. Mais il y a un certain nombre d’obstacles qui se dressent dans ce domaine. façon.
Le principal de ces problèmes est que l’IA est souvent peu fiable, surtout si un utilisateur donné pose une question vraiment unique. Le nouveau Google basé sur l’IA La recherche est constamment jeter des ordures qui sont souvent extraits de sources peu fiables. En fait, il y a eu plusieurs fois cette semaine où la recherche Google a présenté des articles satiriques de The Oignon comme informations fiables.
De son côté, Google se défend en insistant sur le fait que les mauvaises réponses sont des anomalies.
“Les exemples que nous avons vus sont généralement des requêtes très rares et ne sont pas représentatifs des expériences de la plupart des gens”, a déclaré un porte-parole de Google. Gizmodo par e-mail plus tôt cette semaine. «La grande majorité des AI Aperçus fournit des informations de haute qualité, avec des liens permettant d’approfondir le Web.”
Mais cette défense, selon laquelle les « requêtes peu courantes » donnent des réponses erronées, est franchement risible. Les utilisateurs sont-ils seulement censés demander à ces chatbots le plus Des questions banales ? Comment cela est-il acceptable, alors que la promesse est que ces outils sont censés être révolutionnaires ?
OpenAI n’a pas immédiatement répondu à une demande de commentaires vendredi sur la nouvelle étude sur les réponses de ChatGPT. Gizmodo mettra à jour ce message si nous avons une réponse.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
