À la suite d'une série de rapports d'utilisateurs de ChatGPT éprouvant des crises de santé mentale, OpenAI a annoncé qu'il créait une version spécialement pour les adolescents.
OpenAI lance une version de ChatGPT spécialement pour les adolescents — et pour les adultes qu'elle ne peut pas vérifier comme étant âgés de plus de 18 ans.
Justin Sullivan/Getty Images
À la suite d'une série de rapports d'utilisateurs de ChatGPT éprouvant des crises de santé mentale, OpenAI a annoncé qu'il créait une version spécialement pour les adolescents.
« Nous privilégions la sécurité avant la confidentialité et la liberté des adolescents », a déclaré le PDG d'OpenAI, Sam Altman, dans un article de blog. « C'est une technologie nouvelle et puissante, et nous pensons que les mineurs ont besoin d'une protection importante », a-t-il ajouté.
La mise à jour de ChatGPT prévue pour la fin du mois aidera à identifier si une personne a moins de 18 ans. Si un mineur est identifié, il sera « automatiquement » dirigé vers une version de ChatGPT qui a des « politiques adaptées à l'âge » selon OpenAI. Altman a souligné dans son post que ChatGPT est destiné aux personnes de plus de 13 ans.
« En cas de doute, nous prendrons des précautions et choisirons par défaut l'expérience pour les moins de 18 ans », a déclaré Altman. « Dans certains cas ou certains pays, nous pourrons également demander une pièce d'identité ; nous savons que c'est un compromis en matière de confidentialité pour les adultes, mais nous pensons que cela vaut la peine. »
OpenAI a déclaré qu'il donnerait aux adultes « des moyens de prouver leur âge » pour revenir à l'expérience adulte de ChatGPT. Il n'a pas précisé comment les adultes pourraient le faire.
Dans la version de ChatGPT pour adolescents, OpenAI a déclaré qu'il bloquerait le contenu sexuel explicite et que, lorsqu'un utilisateur montre des signes de « détresse aiguë », il pourrait « potentiellement » impliquer les forces de l'ordre.
Altman a ajouté que la version pour adolescents de ChatGPT sera formée pour éviter les conversations qui sont flirteuses ou sur le suicide ou l'automutilation — « même dans un cadre d'écriture créative ».
Les chercheurs ont documenté la facilité avec laquelle on peut contourner les limites fixées par les entreprises de chatbots. Les règles de vérification de l'âge sont également connues pour être facilement contournées.
Quant à la version adulte du chatbot, Altman a souligné qu'elle n'entraverait pas la "liberté" des utilisateurs tout en restant dans des "limites très larges de sécurité". Les adultes pourront toujours engager des "conversations coquines" s'ils le demandent. Altman a ajouté que ChatGPT "ne devrait pas fournir d'instructions" sur "comment se suicider", mais a ajouté un avertissement que si un utilisateur "demande de l'aide pour écrire une histoire fictive qui décrit un suicide", alors le chatbot "devrait aider avec cette demande".
"Traiter nos utilisateurs adultes comme des adultes, c'est ainsi que nous en parlons en interne", a déclaré Altman.
OpenAI a d'abord annoncé les contrôles parentaux à la fin du mois d'août. Ils seront disponibles à la fin du mois de septembre et permettront aux parents de lier le compte de leur adolescent, de guider la manière dont ChatGPT répond, de désactiver des fonctionnalités, de les avertir lorsque leur adolescent est en "détresse aiguë" et de définir des moments où leur adolescent ne peut pas utiliser ChatGPT.
La société d'IA a fait l'annonce le même jour qu'elle a été frappée par un procès après qu'un adolescent s'est suicidé avec le supposé l'aide de ChatGPT. Altman a également été nommé dans le procès.
À l'époque, OpenAI a déclaré que les "cas récents et déchirants" d'utilisateurs s'appuyant sur ChatGPT dans "l'urgence de crises aiguës nous pèsent lourdement."
En plus des adolescents, il y a eu de nombreux cas d'adultes en crise de santé mentale liés à encouragement rapporté de ChatGPT. Certains ont commencé à appeler ces cas de chatbots IA encourageant des épisodes de santé mentale "psychose IA" — ou "psychose ChatGPT."
L'annonce d'août d'OpenAI indiquait d'autres mesures de sécurité qui affecteraient les adultes ainsi que les adolescents, y compris l'ajout de ressources d'urgence. La déclaration plus récente d'Altman sur la question a cependant souligné l'importance de la "liberté" pour les utilisateurs adultes.
Le dernier avis de sécurité d'OpenAI est paru quelques heures avant une audition d'une sous-commission du Sénat sur le crime et le contre-terrorisme concernant les méfaits des chatbots d'IA.
La sous-commission a entendu des défenseurs de la sécurité et des parents d'adolescents qui se sont suicidés suite à un encouragement ou une assistance présumés de la part de chatbots - dont, dans un cas, ChatGPT.
Les défenseurs ont fait des recommandations au comité sur les mesures que le gouvernement devrait prendre pour protéger les adolescents de l'IA - beaucoup allant bien plus loin que ce qu'OpenAI envisage de faire.
"Les systèmes d'IA ne disposent pas de la formation clinique et des capacités de diagnostic pour discuter en toute sécurité avec les adolescents de la santé mentale. Ils sont programmés pour maintenir les engagements, pas pour prioriser la sécurité," a déclaré Robbie Torney, directeur senior des programmes d'IA chez Common Sense Media, au comité.
"Nous avons besoin d'une action décisive," a-t-il poursuivi. "Common Sense Media recommande que le Congrès exige que les entreprises mettent en œuvre une vérification robuste de l'âge et limitent l'accès des compagnons IA aux utilisateurs de moins de 18 ans, établissent des cadres de responsabilité pour tenir les plateformes responsables lorsque leurs systèmes d'IA nuisent aux enfants, imposent des tests de sécurité et des rapports transparents des échecs de l'IA, en particulier pour les plateformes accessibles aux mineurs, et protègent les droits des États de développer leurs propres politiques en matière d'IA."
Un autre défenseur, Mitch Prinstein, chef de la stratégie et de l'intégration en psychologie à l'American Psychological Association, a fait remarquer les accords légaux que les utilisateurs signent lors de l'inscription à un chatbot.
"Avez-vous lu tout le langage juridique que les plateformes nous demandent d'accepter ?" a-t-il dit. "Même si les adolescents le voulaient, ce n'est pas rédigé de manière à ce qu'ils puissent comprendre ni qu'ils soient capables d'apprécier les risques à long terme auxquels ils font face en cédant leurs droits à vie sur leurs données."
Prinstein a déclaré à la commission du Congrès qu'elle "doit promulguer une législation complète sur la confidentialité des données qui établit la protection de la vie privée comme paramètre par défaut pour les mineurs et interdit explicitement la vente de leurs données", ajoutant que l'APA exhorte le Congrès à "interdire à l'IA de se faire passer pour des psychologues ou des thérapeutes et d'exiger une divulgation claire et persistante que les utilisateurs interagissent avec un bot IA.”
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.