Voir une vidéo d’un rêve ou d’une idée cool que vous avez pourrait bientôt devenir une réalité. Le générateur d’IA texte-vidéo d’OpenAI, Sora, est va être diffusé publiquement « Certainement cette année », a déclaré Mira Murati, directrice de la technologie de l’entreprise, au Wall Street Journal. Le média a reçu des exemples. des générations de Sora, une sirène avec un smartphone et un taureau dans un magasin de porcelaine.
Mais lorsqu’on l’interroge sur la nudité sur Sora, Murati a dit qu’elle n’était pas sûre si cela serait autorisé dans les générations vidéo, ajoutant que les artistes pourraient utiliser des générations nues dans des contextes créatifs. Murati a déclaré qu’OpenAI « travaille avec des artistes et des créateurs de différents domaines pour déterminez exactement ce qui est utile, ainsi que quel niveau de flexibilité Sora devrait avoir.
Mais malgré les efforts des startups et des entreprises travaillant sur des modèles pour mettre en place des garde-fous sur le type de contenu pouvant être généré, les matériau comme faux nus profonds et pornographie deepfake sont produits régulièrement par les principaux outils d’IA générative. Et les experts affirment qu’OpenAI et d’autres entreprises technologiques travaillent sur une technologie similaire , ainsi que le gouvernement américain devrait être plus proactif quant à la régulation des outils comme Sora avant qu’ils ne soient largement diffusés.
Monter sur les garde-corps
Dans un sondage de février auprès des électeurs américains réalisé par l’AIPolicy Institute (AIPI), 77% des répondants ont déclaré que quand il s’agit d’IA les générateurs vidéo comme Sora, y compris les garde-corps et les mesures de protection pour empêcher toute utilisation abusive, sont plus important que de rendre les modèles largement disponibles. Plus des deux tiers des personnes interrogées ont déclaré que le développeur d’un modèle d’IA devrait être tenu légalement responsable de tout activités illégales de la part du modèle, comme la génération de fausses vidéos à des fins de calomnie ou de vengeance pornographique.
«Cela montre vraiment à quel point le public prend cette technologie au sérieux», a déclaré Daniel Colson, fondateur et directeur exécutif de l’AIPI. Ils pensent que c’est puissant. Ils ont vu la manière dont les entreprises technologiques déploient ces modèles, ces algorithmes et ces technologies, et cela conduit à des résultats qui transforment la société.
Mais Colson a déclaré que le public « ne fait pas non plus confiance aux entreprises technologiques pour le faire de manière responsable ».
« OpenAI a une décision difficile à prendre à ce sujet », a-t-il déclaré, « car, pour le meilleur ou pour le pire, la réalité est que probablement 90 % de la demande de vidéos générées par l’IA sera pour la pornographie, et ce crée une dynamique désagréable où, si des entreprises centralisées créent ces modèles ne fournissent pas ce service, ce qui crée une incitation extrêmement forte pour que le marché gris fournisse ce service.
Colson a déclaré que cela s’était déjà produit avec des modèles d’image d’IA open source où il n’y avait pas beaucoup de restriction ou de surveillance du contenu.
Sora is actuellement en test par les équipes rouges, ou « experts dans des domaines comme la désinformation, les contenus haineux et les préjugés », OpenAI a a déclaré alors qu’elle se prépare à rendre le modèle disponible. La société a également déclaré qu’elle travaillait sur des outils pour « détecter les contenus trompeurs », y compris ceux générés par Sora. vidéos. OpenAI n’a pas répondu à une demande de commentaires pour cette histoire.
Après Images pornographiques générées par l’IA de Taylor Swift ont inondé les médias sociaux en janvier, un sondage AIPI a révélé que 84 % des répondants a soutenu une législation visant à rendre illégale la pornographie deepfake non consensuelle. Pendant ce temps, 86 % des répondants soutenaient une législation obligeant les entreprises à développer des modèles d’IA pour les empêcher d’être utilisées pour créer du deepfake porn. Plus Plus de 90 % des personnes interrogées ont déclaré qu’elles pensaient que les personnes qui utilisent des modèles d’IA pour créer du porno deepfake devraient être tenues pour responsables en vertu de la loi, tandis que 87 % des personnes interrogées ont déclaré qu’elles estimaient que les entreprises développant les modèles devraient être tenues légalement responsables. pas de lois ou de réglementations américaines autour de cela. (Dans l’Union européenne, le nouveau Loi sur l’intelligence artificielle, qui évaluera et réglementera les logiciels d’IA en termes de risque, n’a pas encore été officiellement adopté.)
« Le gouvernement [américain] n’a pas vraiment pris de mesures notables au cours des 25 dernières années — depuis l’aube d’Internet — pour réglementent substantiellement ces entités, et c’est remarquable, étant donné le degré auquel de plus en plus de sociétés américaines sont véritablement gouvernées par ces non-organismes. -des entités démocratiquement élues », a déclaré Colson.
Les générateurs vidéo comme Sora pourraient également être utilisés par les cybercriminels pour créer des contrefaçons profondes de cadres, d’acteurs et de politiciens dans des situations compromettantes afin d’exercer des pressions. influencer ou demander une rançon. En février, la Commission fédérale des communications voix générées par l’IA interdites dans les appels robots après plusieurs incidents, y compris un faux appel qui a circulé en janvier avec une image générée par l’IA du président Joe Biden encourageant les électeurs du New Hampshire à rester à la maison au lieu de voter aux élections primaires de l’État. Et pendant sa campagne infructueuse pour l’investiture républicaine à la présidence, le gouverneur de Floride Ron DeSantis a publié une vidéo générée par l’IA en juin de l’ancien président Donald Trump serrant dans ses bras l’ancien conseiller médical de la Maison Blanche, le Dr Anthony Fauci, sans révéler que ce n’était pas réel.
Mais imposer des garde-fous comme la vérification des utilisateurs, le marquage du contenu, l’évaluation des risques et imposer des restrictions sur comment et où le contenu généré par l’IA peut être exporté pourrait aider à contourner la cybercriminalité.
«Nous devons passer d’une posture réactive à une posture proactive», Jason Hogg, cadre en résidence chez Great Hill Partners et un ancien directeur mondial de la société de cybersécurité Aon Cyber a dit à propos de la réglementation américaine sur les modèles d’IA. dans la société mère de Quartz G/O Media.)
Hogg a déclaré qu’il faut d’y avoir des règlements et des sanctions en place pour faire face à “un tsunami de cybercriminalité qui se dirige vers notre côte”.
Ce contenu a été traduit automatiquement à partir du texte original. De légères différences résultant de la traduction automatique peuvent apparaître. Pour la version originale, cliquez ici.