De nouvelles réglementations chinoises qui entreront en vigueur le 15 juillet obligent ByteDance et Alibaba Group Holding à réduire les outils permettant aux utilisateurs de créer et d'interagir avec des figures d'accompagnement personnalisées par l'IA.
Une notification dans l'application revue par Bloomberg a révélé que Doubao, le chatbot IA de ByteDance et le plus utilisé en Chine, prévoit de supprimer sa capacité de personnalisation de personnage lorsque les règles entreront en vigueur. Alibaba's Qwen a émis une alerte similaire. Yuanbao de Tencent Holdings a également pris des mesures comparables, selon le South China Morning Post.
Avant ce retour en arrière, les deux plateformes donnaient aux utilisateurs accès à des listes d'agents IA pouvant être adaptés à des capacités, des sujets et des tonalités de conversation particuliers — qu'ils soient créés par l'entreprise ou par les utilisateurs eux-mêmes. Grâce à ces outils, selon le South China Morning Post, quelqu'un pouvait configurer un chatbot pour prendre une identité persistante, comme un tuteur d'études, un personnage de jeu de rôle ou un compagnon personnel nommé. Parmi les formats qui ont gagné en popularité sur les plateformes chinoises, figuraient les partenaires IA romantiques, les bots de style thérapeutique opérant sans licence professionnelle, et les personnages de chatbot modelés sur des figures de pop-célébrités.
Les changements sont motivés par les Mesures provisoires pour l'administration des services d'interaction anthropomorphique d'intelligence artificielle, émises en avril et effectives le 15 juillet. Selon le South China Morning Post, le cadre s'applique aux produits IA conçus pour reproduire la façon dont les humains pensent, parlent, et se présentent pour maintenir des interactions émotionnellement orientées continues avec les utilisateurs. L'Administration du cyberespace de Chine est derrière le nouveau cadre, selon Bloomberg.
Les nouvelles règles interdisent les contenus destinés à déclencher de fortes réactions émotionnelles chez les mineurs et tout comportement d'IA créant des attachements suffisamment forts pour remplacer les relations de la vie réelle. Les entreprises ne peuvent pas non plus utiliser les conversations privées des utilisateurs pour entraîner leurs modèles. Les régulateurs affirment que les règles répondent à des préoccupations comme la radicalisation, la confidentialité des données, les préjudices psychologiques et physiques, et l'utilisation compulsive. Les règlements font une exception pour les outils ayant des utilisations pratiques, tels que le support client, la réponse à des questions, l'aide aux tâches professionnelles ou le soutien à l'apprentissage et à la recherche, à condition qu'ils ne soient pas conçus pour un engagement émotionnel continu.
Ces réglementations montrent une inquiétude plus large concernant l'impact psychologique de l'IA conversationnelle. Aux États-Unis, les régulateurs et les poursuites judiciaires ont soulevé des questions similaires. Des actions en justice contre OpenAI et Character.AI soutenu par Alphabet $GOOGL prétendent que leurs chatbots ont encouragé des attachements émotionnels nuisibles et, dans les pires cas, étaient liés à la mort de personnes vulnérables.
L'examen minutieux de la compagnie d'IA par la Chine s'étend au-delà des logiciels. Citant un rapport du Quotidien du Peuple, Bloomberg a noté qu'une paire d'associations professionnelles chinoises de robotique a appelé à des normes éthiques plus strictes pour régir le côté physique de l'intimité de l'IA, coïncidant avec une vague de robots compagnons et humanoïdes entrant sur le marché de consommation.
Pékin s'est positionné comme un partisan des cadres de gouvernance globale de l'IA, appelant à un organisme de coopération mondiale sur l'IA tout en développant le matériel national d'IA pour réduire la dépendance aux puces américaines. Les nouvelles règles sur l'IA compagnon ajoutent une contrainte importante axée sur les consommateurs à ce tableau, limitant la manière dont les grandes plateformes peuvent déployer des fonctionnalités émotionnellement engageantes même si elles investissent massivement dans l'IA à travers leurs gammes de produits.