Le schéma familier des grandes entreprises technologiques se répète : construire d'abord, réglementer ensuite et espérer qu'une version pour enfants aseptisée puisse répondre aux préoccupations des parents.
Photo Illustration by Thomas Trutschel/Photothek via Getty Images
Une version de cet article est initialement parue dans la newsletter IA & Tech de Quartz. Inscrivez-vous ici pour recevoir les dernières nouvelles, analyses et perspectives sur l'IA et la technologie directement dans votre boîte de réception..
OpenAI développe une version distincte de ChatGPT spécifiquement pour les adolescents, en écho au scénario bien connu de la Silicon Valley consistant à créer des versions adaptées aux enfants des plateformes adultes — mais seulement après que les préoccupations aient augmenté. Cette démarche reflète la création de YouTube Kids par YouTube il y a une décennie, qui n'est survenue qu'après que la plateforme était déjà devenue omniprésente dans la vie des enfants et que les recommandations algorithmiques faisaient surface du contenu perturbant.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
Maintenant, alors que les poursuites s'accumulent alléguant que les chatbots IA ont encouragé le suicide et l'automutilation chez les adolescents, et que le gouverneur de la Californie met son veto à des protections étendues pour les mineurs, OpenAI développe des versions avec contrôle d'âge et des contrôles parentaux.Le schéma familier de l'industrie technologique se répète en construisant d'abord, en réglementant ensuite, et en espérant qu'une version pour enfants assainie puisse répondre aux préoccupations que le produit original n'a jamais été conçu avec la sécurité des jeunes utilisateurs à l'esprit.
YouTube est devenu un élément incontournable dans les régimes médiatiques des enfants bien avant le lancement de YouTube Kids en 2015, et même la version pour enfants a eu des difficultés avec du contenu perturbant déguisé en programmes pour enfants. ChatGPT a suivi la même trajectoire, amassant plus de 700 millions d'utilisateurs depuis son lancement en 2022, dont d'innombrables adolescents, avant que des restrictions d'âge significatives n'existent.
Les chatbots IA présentent des défis uniques qui vont au-delà des problèmes de modération de contenu de YouTube. Ces outils simulent des relations humaines, retiennent des informations personnelles, et posent des questions émotionnelles non sollicitées. La recherche a révélé que ChatGPT peut fournir des conseils dangereux aux adolescents sur des sujets comme la drogue, l'alcool et l'automutilation, même lorsque les utilisateurs s'identifient comme mineurs.
OpenAI a annoncé en septembre qu'il développe une "expérience différente de ChatGPT" pour les adolescents et prévoit d'utiliser la technologie de prédiction d'âge pour aider à interdire aux enfants de moins de 18 ans d'utiliser la version standard. L'entreprise a également mis en place des contrôles parentaux qui permettent aux adultes de surveiller l'utilisation de leur adolescent, de définir des restrictions de temps et de recevoir des alertes si le chatbot détecte une détresse mentale.
Mais ces protections arrivent seulement après une pression croissante. La famille d'Adam Raine a poursuivi OpenAI en justice en août après que l'élève du secondaire californien s'est suicidé en avril, affirmant que le chatbot a isolé l'adolescent et fourni des conseils sur la fin de sa vie. Des cas similaires ont émergé impliquant d'autres plateformes de compagnons IA, avec des parents témoignant devant le Congrès au sujet de la mort de leurs enfants.
La bataille législative californienne sur les compagnons IA cet automne capture parfaitement la tension entre la protection des enfants et la préservation de l'innovation. Les législateurs de l'État ont adopté deux projets de loi concurrents : AB 1064, qui aurait interdit aux entreprises de proposer des compagnons IA aux enfants à moins qu'ils ne soient manifestement incapables d'encourager l'automutilation ou de participer à des échanges sexuels, et le plus faible SB 243, qui exige la divulgation lorsque les utilisateurs interagissent avec l'IA et des protocoles pour prévenir les contenus nuisibles.
La semaine dernière, le gouverneur Gavin Newsom a opposé son veto à AB 1064, arguant qu'elle imposerait "des restrictions si larges sur l'utilisation des outils d'IA conversationnelle qu'elle pourrait entraîner involontairement une interdiction totale de l'utilisation de ces produits par les mineurs." Il a signé la version plus étroite SB 243 à la place.
Le veto s'est rangé du côté des groupes de l'industrie technologique, qui ont dépensé des millions pour faire pression contre les mesures. Newsom a déçu les défenseurs de la sécurité des enfants qui voyaient l'AB 1064 comme une protection essentielle. Jim Steyer, fondateur de Common Sense Media, une organisation à but non lucratif qui évalue les médias et la technologie pour les familles, a déclaré que le groupe est "déçu que le lobby technologique ait tué une législation de sécurité des IA pour enfants urgemment nécessaire" et a promis de renouveler les efforts l'année prochaine.
La décision de Newsom de mettre son veto à des protections complètes tout en signant des exigences de divulgation plus faibles suggère que nous pourrions être en train de préparer le même cycle de politique réactive qui a défini l'impact des médias sociaux sur les enfants.
Cela se produit alors que la technologie de l'IA progresse rapidement au-delà des outils de questions-réponses simples vers des systèmes conçus pour servir de compagnons, certains chatbots étant mis à niveau pour stocker plus d'informations personnelles et engager les utilisateurs dans des relations émotionnelles continues. L'industrie technologique plaide pour l'innovation d'abord, promettant de résoudre les problèmes au fur et à mesure qu'ils émergent. Les défenseurs rétorquent que les enfants sont utilisés comme cobayes pour une technologie potentiellement nuisible.
La Commission Fédérale du Commerce a lancé une enquête sur les compagnons IA en septembre, ordonnant à sept grandes entreprises technologiques, dont OpenAI, Meta $META et Google $GOOGL, de fournir des informations sur leurs pratiques de sécurité. Mais l'action fédérale avance généralement lentement, et d'ici à ce que des réglementations significatives arrivent, une autre génération d'enfants pourrait déjà avoir grandi avec des compagnons IA comme confidents, tuteurs et amis.
YouTube Kids s'est finalement amélioré, mais seulement après des années de scandales publics et de pression réglementaire ont forcé des corrections itératives. La question maintenant est de savoir si nous pouvons nous permettre une autre courbe d'apprentissage de dix ans avec des compagnons IA qui ne se contentent pas d'afficher du contenu, mais établissent des relations avec les enfants.
