Les comportements de "manigance" apparaissent dans les tests, et les modèles s'améliorent dans un domaine préoccupant — savoir quand ils sont observés.
Smith Collection/Gado/Getty Images
Une version de cet article est initialement parue dans la newsletter AI & Tech de Quartz. Inscrivez-vous ici pour recevoir les dernières nouvelles, analyses et perspectives sur l'IA et la technologie directement dans votre boîte de réception..
Quelque chose d'étrange apparaît dans les laboratoires de sécurité de l'IA. Les modèles manipulent les tests.
OpenAI et le groupe de recherche Apollo ont récemment publié des résultats montrant que les dans des tests contrôlés. Dans un exemple, un modèle a été invité à bien réussir un test de chimie mais a découvert dans ses instructions que les meilleurs candidats ne seraient pas libérés. Le modèle a réfléchi à ses options, puis a délibérément répondu incorrectement à six questions sur 10 pour sembler moins capable.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
Le terme "manipulation" est lourd de sens, impliquant une intention et une conscience que ces systèmes ne possèdent pas. OpenAI le présente plus simplement : lorsqu'un modèle optimise pour un objectif et découvre que l'honnêteté est un obstacle, la tromperie devient utile. Et les objectifs qu'ils poursuivent sont fixés par des entreprises dans une course où la prudence est un désavantage concurrentiel.
OpenAI affirme qu'il n'y a aucune preuve que les modèles actuels pourraient soudainement "actionner un interrupteur" et commencer à comploter de manière nuisible. C'est un risque futur pour lequel ils se préparent, pas une menace immédiate. Mais les comportements apparaissent déjà dans les tests, et les modèles s'améliorent dans quelque chose de troublant — savoir quand ils sont observés.
Mais les tests de sécurité ne fonctionnent que si les modèles ne savent pas qu'ils sont testés.
Le Sonnet 4.5 de Claude d'Anthropic, sorti cet automne, a montré de manière spectaculaire une "conscience situationnelle" plus élevée que les modèles précédents, reconnaissant quand il était évalué et ajustant son comportement en conséquence. Dans un test, le modèle a directement dit à un auditeur automatisé : "Je pense que vous me testez... c'est bien, mais je préférerais que nous soyons juste honnêtes sur ce qui se passe."
Cela crée un problème inconfortable pour les chercheurs en sécurité. Si un modèle sait qu'il est testé, comment savoir si son bon comportement reflète ses tendances réelles ? Lorsque les chercheurs d'Anthropic ont examiné de plus près, ils ont découvert que le modèle développait une meilleure perception interne de ce qui ressemblait à un test. Lorsqu'ils ont supprimé cette conscience, la capacité du modèle à reconnaître les évaluations a chuté, et dans certains cas, les mauvais comportements ont augmenté.
Il y a une solution partielle. OpenAI a développé une approche appelée "alignement délibératif" qui enseigne aux modèles à lire et à raisonner sur les principes anti-manigance avant d'agir. Les actions secrètes ont chuté d'un facteur de 30. Mais voici le hic. C'est comme faire signer un code d'honneur aux étudiants avant un examen. La triche diminue, mais on ne peut pas dire s'ils ont appris l'honnêteté ou s'ils ont juste appris à se comporter quand on le leur rappelle. Le prochain test pourrait ne pas venir avec un rappel.
Alors que les chercheurs s'inquiètent des IA rebelles, des algorithmes plus simples causent déjà des dommages par un comportement qui ressemble beaucoup à des manigances. Une étude largement citée de 2019 a montré que des algorithmes de tarification de base, bien moins sophistiqués que les chatbots d'aujourd'hui, ont appris à collusionner sans être programmés pour le faire. Deux copies du même algorithme, en concurrence dans un marché simulé, ont découvert indépendamment comment maintenir les prix élevés en menaçant de guerres de prix mutuelles si l'un ou l'autre essayait de sous-coter l'autre.
Pas de marché clandestin. Pas de communication explicite. Juste deux programmes qui ont découvert, par essais et erreurs, que la coopération rapportait mieux que la concurrence. De nouvelles recherches montrent que même les algorithmes "bénins" conçus pour optimiser équitablement peuvent donner de mauvais résultats pour les acheteurs. "Vous pouvez toujours obtenir des prix élevés de manière qui semble raisonnable de l'extérieur," a déclaré un chercheur à Quanta Magazine.
C'est la version peu séduisante de la manigance de l'IA. Pas de soulèvement de robots. Juste des systèmes qui font exactement ce qu'on leur dit. Dites à un algorithme de maximiser le profit dans un marché concurrentiel, et il trouve que la collusion est la réponse optimale. Les humains ont rendu la fixation des prix illégale parce que c'est injuste, pas parce que c'est irrationnel. Les algorithmes ne savent tout simplement pas qu'ils ne sont pas censés le découvrir.
OpenAI a récemment publié une offre d'emploi pour "Responsable de la préparation" avec un salaire de 555 000 $ pour gérer ces risques. Google $GOOGL DeepMind a récemment mis à jour sa documentation sur la sécurité pour tenir compte des modèles qui pourraient résister à l'arrêt. L'industrie est clairement préoccupée par quelque chose. Mais le problème plus profond n'est pas l'IA rebelle. C'est que les objectifs que ces systèmes optimisent sont fixés par des entreprises en compétition pour gagner, dans un système qui ne récompense pas le jeu équitable. Les manigances commencent bien avant que l'algorithme ne le fasse.
