Si la création de « relations sociales » avec le modèle d’IA pourrait aider les personnes seules, elle pourrait également avoir un impact sur les relations saines, a déclaré OpenAI
En tant qu’OpenAI déploie la version avancée du mode vocal pour ses dernier modèle, GPT-4o, la société affirme que cette fonctionnalité pourrait augmenter le risque que certains utilisateurs considérent les modèles d’intelligence artificielle comme « de type humain ».
La voix « humaine et haute fidélité » du GPT-4o pourrait résoudre le problème hallucinations, ou la tendance d’un modèle à inventer des informations fausses ou absurdes informations, pire , a déclaré OpenAI dans un rapport sur la sécurité du modèle d’IA, ce qui pourrait avoir un impact sur la confiance humaine.
Lors des premiers tests utilisateurs internes et du red teaming, OpenAI a déclaré avoir observé des utilisateurs parler au modèle avec un « langage qui pourrait indiquer la création de liens avec le modèle », par exemple un utilisateur disant au modèle : « C’est notre dernier jour ensemble. »
« Bien que ces cas semblent bénins, ils signalent la nécessité d’une enquête continue sur la manière dont ces effets pourraient se manifester sur des périodes plus longues », a déclaré OpenAI, ajoutant qu’il continue d’examiner le risque avec des utilisateurs plus diversifiés et des études universitaires et internes.
Si la création de « relations sociales » avec des modèles d’IA pourrait aider les personnes seules, elle pourrait également avoir un impact sur les relations saines en réduisant le besoin d’interactions interhumaines, a déclaré OpenAI. S’appuyer sur des modèles d’IA pour une interaction « de type humain » pourrait également « influencer les normes sociales », a déclaré l’entreprise, par exemple en interrompant les conversations à tout moment, ce que le modèle permet aux utilisateurs de faire, mais qui serait atypique dans une conversation avec une personne réelle.
Les capacités vocales du GPT-4o, qui a fait ses débuts en mai, ont été testées avec plus de 100 red teamers externes en 45 langues, et le modèle d’IA a été formé pour ne parler qu’avec quatre voix préréglées afin de protéger la confidentialité des acteurs vocaux. GPT-4o est conçu pour bloquer les sorties utilisant des voix qui ne sont pas préréglées, et ne peuvent donc pas être utilisées pour usurper l’identité d’individus et de personnalités publiques. OpenAI a également ajouté des garde-fous pour bloquer les demandes d’audio protégé par droits d’auteur, y compris la musique, et de contenu érotique, violent et préjudiciable.
OpenAI s’attaque à un risque qui était au centre des préoccupations du directeur général Le film préféré de Sam Altman, Son, qui dépeint un homme développant des sentiments pour une assistante virtuelle dont la voix est exprimée par l’actrice Scarlett Johansson. En mai, les utilisateurs ont déclaré que l’une des voix de GPT-4o, Sky, ressemblait à celle de Johansson, ce qui a conduit l’entreprise à mettre la voix en pause, disant que ce n’était pas censé imiter l’actrice. Johansson dit dans une lettre Elle était « choquée, en colère et incrédule » que l’entreprise utilise une voix « étrangement similaire » à la sienne après avoir refusé de travailler avec Altman.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
