Voice Engine semble être un outil impressionnant, mais combien de temps avant d’être largement abusé ?
OpenAI a annoncé vendredi un nouvel outil de clonage audio basé sur l’IA appelé Voice Engine. technologie – vantant comment elle pourrait être utilisée pour fournir une aide à la lecture aux enfants et donner une voixà ceux qui ont perdu la leur —OpenAI est visiblement très nerveux quant à la manière dont cela pourrait être abusé. Et avec de bonnes raisons.
« OpenAI s’engage à développer une IA sûre et largement bénéfique », a déclaré la société dans un communiqué vendredi, exprimant clairement ses préoccupations dans le très première phrase.
Voice Engine utilise essentiellement la même technologie qui se derrière son API de synthèse vocale et ChatGPT Voice mais cette application de la technologie est tout il s’agit de cloner une voix plutôt que de lire quelque chose à haute voix avec le ton et l’inflexion d’un étranger. OpenAI note que sa technologie est exceptionnelle dans le sens où elle n’a besoin que d’un extrait de 15 secondes pour « créer des voix émouvantes et réalistes ».
«Aujourd’hui, nous partageons des informations et des résultats préliminaires d’un aperçu à petite échelle d’un modèle appelé Voice Engine, qui utilise la saisie de texte. et un seul échantillon audio de 15 secondes pour générer un discours au son naturel qui ressemble beaucoup au locuteur d’origine », a écrit la société.
On ne sait pas quel type de données de formation a été utilisé pour créer Voice Engine, un point sensible pour les entreprises d’IA qui ont été accusées. de violer les lois sur le droit d’auteur en formant leurs modèles sur des œuvres protégées. Des entreprises comme OpenAI arguent que leurs méthodes de formation comptent comme une « utilisation équitable »en vertu La loi américaine sur le droit d’auteur, mais un certain nombre de titulaires de droits ont intenté une action en justice, se plaignant de ne pas avoir été rémunérés pour leur travail.
Le site Web d’OpenAI contient des exemples de clips audio qui ont été alimentés via Voice Engine et ils sont jolis. sacrément impressionnant. La possibilité de changer la langue quelqu’un parle est également très cool. Mais vous ne pouvez pas l’essayer par vous-même pour l’instant .
Il existe déjà un certain nombre d’outils de clonage vocal disponibles, comme OnzeLabs, et des traducteurs comme Répondeur. Mais OpenAI est devenu un monstre depuis qu’il a lance publiquement ChatGPT fin 2022. Et dès qu’il fait de Voice Engine un moteur produit disponible au public (il n’y a pas de mot sur une date de sortie encore) il pourrait ouvrir les écluses à toutes sortes de nouveaux abus que nous Je n’en ai même jamais rêvé.
La déclaration d’OpenAI de vendredi indiquait : « Nous adoptons une approche prudente et informée en visant à une publication à plus grande échelle en raison du potentiel pour la voix synthétique . utilisation abusive », soulignant les inquiétudes auxquelles toutes les grandes entreprises sont désormais confrontées avec ce genre de technologie d’IA.
Un exemple particulièrement inquiétant de quelqu’un utilisant le clonage vocal de l’IA à des fins néfastes s’est produit plus tôt cette année en utilisant La voix du président Joe Biden. Steve Kramer, qui a travaillé pour Dean Phillips, candidat démocrate à la présidentielle, a cloné la voix de Biden pour créer un message disant que les gens ne devraient pas prendre la peine de voter à la primaire du New Hampshire. Kramer a utilisé l’outil vocal IA d’ElevenLabs et l’a fait en « moins de 30 minutes » envoyer le message d’appel automatisé à environ 5 000 personnes, selon le Washington Post.
“Nous espérons entamer un dialogue sur le déploiement responsable des voix synthétiques et sur la manière dont la société peut s’adapter à ces nouvelles capacités." La déclaration d’OpenAI dit. «Sur la base de ces conversations et des résultats de ces tests à petite échelle, nous prendrons une décision plus éclairée. sur si et comment déployer cette technologie à grande échelle.
C’est, bien sûr, l’épée à double tranchant de toutes les nouvelles technologies. Les escrocs trouveront toujours un moyen d’exploiter les outils émergents pour escroquer les gens avec leur argent durement gagné. Mais vous n’avez pas besoin d’utiliser de fausses voix générées par l’IA pour arnaquer les gens. signalées plus tôt cette semaine, les dernières utilisations de la crypto-arnaque de vrais acteurs embauchés sur Fiverr pour lire un script qui aide à vendre leur arnaque comme authentique.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
