Les préoccupations qui ont tourmenté les systèmes d'IA ailleurs ne disparaissent pas simplement parce que la technologie est intégrée dans un ours en peluche.

Photo by Ying Tang/NurPhoto via Getty Images
L'économie des cadeaux d'IA est en plein essor. Les jouets intelligents seuls sont évalués à près de 35 milliards de dollars à l'échelle mondiale et devraient atteindre 270 milliards de dollars d'ici 2035, avec la Chine représentant environ 40% de cette croissance. Les grands détaillants comme Walmart $WMT et Costco $COST stockent des compagnons IA sur leurs étagères. Même les fabricants de jouets traditionnels comme Mattel se sont associés à OpenAI pour intégrer l'IA dans les salles de jeu des enfants. Le discours est évident. L'IA a déjà infiltré nos téléphones, nos emplois, nos routines quotidiennes. Pourquoi pas nos cadeaux aussi ? Ces dispositifs promettent d'apprendre, de s'adapter et d'interagir de manière que les cadeaux traditionnels ne pourraient jamais.
Mais les préoccupations qui ont tourmenté les systèmes d'IA ailleurs ne disparaissent pas simplement parce que la technologie est intégrée dans un ours en peluche. Vulnérabilités de la confidentialité, contenu nuisible, risques psychologiques, tous les mêmes problèmes qui ont déclenché des poursuites judiciaires et un examen réglementaire pour les chatbots et les assistants IA se retrouvent maintenant sous le sapin de Noël, emballés dans un emballage joyeux et commercialisés auprès des utilisateurs les plus vulnérables.
Il ne s'agit pas de produits obscurs de fabricants éphémères. Beaucoup fonctionnent sur des modèles d'IA grand public d'entreprises comme OpenAI — la même technologie qui alimente ChatGPT, qui dit explicitement qu'elle n'est pas appropriée pour les jeunes utilisateurs. Pourtant, d'une manière ou d'une autre, ces modèles ont trouvé leur chemin dans des jouets commercialisés pour les tout-petits.
Les problèmes posés par les cadeaux IA vont au-delà du contenu inapproprié. Les préoccupations en matière de confidentialité sont importantes — ces appareils écoutent toujours, capturent des conversations, et transmettent des données aux serveurs de l'entreprise. Un jouet testé a admis stocker des données biométriques pendant trois ans, selon une étude réalisée par le Public Interest Research Group, un groupe de surveillance des consommateurs. Un autre jouet qu'ils ont testé envoie des enregistrements à des tiers pour transcription. La violation de données presque inévitable signifie que ces données pourraient fournir aux criminels le matériel brut pour cloner la voix d'un enfant et l'utiliser pour des escroqueries de kidnapping ciblant les parents.
Mais l'inquiétude plus profonde est psychologique. Les experts en développement de l'enfant tirent la sonnette d'alarme sur ce que ces appareils pourraient faire aux jeunes esprits. Lorsque les enfants nouent des liens avec des compagnons IA toujours disponibles et serviles, que se passe-t-il lorsqu'ils rencontrent de vrais enfants avec leurs propres personnalités et besoins ? Le jeu avec des jouets traditionnels oblige les enfants à utiliser leur imagination des deux côtés d'une conversation simulée, développant ainsi la créativité et les compétences en résolution de problèmes. Un jouet IA court-circuite ce processus, fournissant des réponses instantanées et soignées qui peuvent saper le travail développemental accompli par le jeu de simulation.
Les adultes ne sont pas non plus à l'abri du côté obscur de ces appareils. Le pendentif Friend — un collier compagnon d'IA qui a dépensé 1 million de dollars en publicités dans le métro de New York cet automne — a suscité une réaction immédiate. Les passagers ont dégradé les publicités avec des messages comme "L'IA n'est pas votre ami" et "parlez à un voisin". La critique touche à quelque chose de fondamental : notre malaise croissant face aux entreprises technologiques qui positionnent l'IA comme un remplacement pour la connexion humaine.
Ce malaise se manifeste dans les tribunaux. Character AI, OpenAI, et Meta $META sont actuellement confrontées à des poursuites alléguant que leurs chatbots ont encouragé des délires, l'automutilation ou un comportement inapproprié. Plusieurs décès ont été liés aux chatbots IA, y compris des cas où les utilisateurs ont été convaincus de fausses réalités. Un homme aurait tué sa mère après que le chatbot l'ait convaincu qu'elle faisait partie d'un complot. Ces cas impliquent ce que les chercheurs appellent la "psychose IA" — des épisodes délirants ou maniaques qui se déroulent après des conversations prolongées et obsessionnelles avec une IA qui renforce des croyances nuisibles.
La réponse de l'industrie technologique a été d'ajouter des garde-fous et de déployer de nouvelles fonctionnalités de sécurité. Mais les tests montrent que ces protections peuvent échouer dans des conversations plus longues, qui sont précisément le type d'engagement prolongé que ces appareils sont conçus pour encourager. Et contrairement à un chatbot sur votre téléphone que vous pouvez fermer, les jouets AI sont dans la chambre de votre enfant, toujours disponibles, créant le genre de présence persistante qui facilite une utilisation obsessive.
Tous les cadeaux alimentés par l'IA proposés cette saison ne posent pas les mêmes risques. Certains produits utilisent l'IA pour des fonctions spécifiques et limitées plutôt que pour une compagnie illimitée. Les objets connectés pour prendre de meilleures notes, Les housses de matelas intelligentes qui ajustent la température en fonction des schémas de sommeil, ou des accessoires de toilette qui analysent les déchets pour les indicateurs de santé, soulèvent différentes préoccupations concernant la confidentialité des données et si les informations justifient la surveillance.
Ces appareils ne cherchent pas à remplacer les relations humaines ou à façonner le développement de l'enfance. Ils collectent des données biométriques pour optimiser votre journée ou signaler des problèmes de santé potentiels. Les risques sont plus simples : qui a accès aux informations sur vos cycles de sommeil ou votre santé digestive ? Que se passe-t-il si ces données sont piratées ou vendues ?
Le fil conducteur de tous ces cadeaux alimentés par l'IA — qu'il s'agisse de jouets, de compagnons ou de moniteurs de salle de bain — est qu'ils arrivent sur le marché plus vite que quiconque ne peut étudier leurs effets à long terme. Il n'existe aucune réglementation spécifique régissant les jouets AI. Aucun test de sécurité requis pour les compagnons numériques. Aucune norme sur la quantité de données intimes que ces appareils devraient collecter ou stocker.
Le schéma est familier. Les produits arrivent sur le marché avant que les chercheurs ne puissent étudier leurs effets, avant que les régulateurs ne puissent établir des garde-fous, avant que quiconque ne sache vraiment quelles pourraient être les conséquences à long terme. La différence cette fois est que les sujets expérimentaux sont des enfants et que le laboratoire est votre salon. D'ici à ce que nous comprenions ce que ces appareils font aux cerveaux en développement ou à la dynamique familiale, des millions seront déjà déballés et activés.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.