Pourquoi les grands modèles linguistiques se comportent-ils comme ils le font ? De nouvelles recherches fournissent quelques indices.
Même s’ils sont créés par des humains, les grands modèles de langage restent encore assez mystérieux. Les algorithmes à indice d’octane élevé qui alimentent notre technologie actuelle Le boom de l’intelligence artificielle a une manière de faire des choses qui ne sont pas explicables extérieurement pour les personnes qui les observent. C’est pourquoi l’IA a largement été surnommé une « boîte noire » un phénomène qui n’est pas facilement compréhensible de l’extérieur.
Une recherche récemment publiée par Anthropic, l’une des meilleures entreprises du secteur de l’IA, tente de faire la lumière sur les aspects les plus déroutants. du comportement algorithmique de l’IA. Mardi, Anthropic a publié un document de recherche conçu pour expliquer pourquoi son chatbot IA, Claude, choisit de générer du contenu sur certains sujets plutôt que sur d’autres.
Systèmes d’IA sont mis en place dans une approximation grossière du cerveau humain, des réseaux neuronaux en couches qui absorbent et traitent les informations, puis prennent des « décisions » ou des prédictions basées sur cette information. Ces systèmes sont « entraînés » sur de grands sous-ensembles de données, ce qui leur permet d’établir des connexions algorithmiques. Lorsque les systèmes d’IA produisent données basées sur leur formation, cependant, les observateurs humains ne savent pas toujours comment l’algorithme est arrivé à ce résultat.
Ce mystère a donné naissance au domaine de Interprétation de l’IA», où les chercheurs tentent de retracer le chemin de la prise de décision de la machine afin de pouvoir comprendre ses résultats. Dans le domaine de l’IA interprétation, une « fonctionnalité » fait référence à un modèle de “neurones” au sein d’un réseau neuronal – en fait, un concept auquel l’algorithme peut se référer. Plus il y a de « fonctionnalités » dans un réseau neuronal que les chercheurs peuvent comprendre, plus ils peuvent comprendre comment certaines entrées déclenchent le réseau pour affecter certaines sorties.
Dans un mémo Sur la base de leurs découvertes, les chercheurs d’Anthropic expliquent comment ils ont utilisé un processus appelé « apprentissage du dictionnaire » pour déchiffrer quelles sont les parties du réseau neuronal de Claude. mappés à des concepts spécifiques. Grâce à cette méthode, les chercheurs affirment qu’ils ont pu « commencer à comprendre le comportement du modèle en voyant quelles fonctionnalités répondent à une entrée particulière, nous donnant ainsi un aperçu du « raisonnement » du modèle sur la manière dont il est arrivé à une réponse donnée.
Dans une interview avec l’équipe de recherche d’Anthropic réalisée par Steven Levy de Wired, les membres du personnel ont expliqué ce que cela signifiait de déchiffrer le fonctionnement du « cerveau » de Claude. Une fois qu’ils avaient compris comment décrypter une caractéristique, cela en a conduit à d’autres :
Une caractéristique qui leur a marqué était associée au pont du Golden Gate. Ils ont cartographié l’ensemble des neurones qui, lorsqu’ils sont déclenchés, ensemble, indiquait que Claude « réfléchissait » à la structure massive qui relie San Francisco au comté de Marin. De plus, lorsque des ensembles similaires de Les neurones déclenchés ont évoqué des sujets adjacents au pont du Golden Gate : Alcatraz, le gouverneur de Californie Gavin Newsom et le film d’Hitchcock. vertige, qui se déroule à San Francisco. Tout cela dit, l’équipe a identifié des millions de fonctionnalités, une sorte de pierre de Rosette pour décoder le réseau neuronal de Claude. .
Il convient de noter qu’Anthropic, comme d’autres entreprises à but lucratif, pourrait avoir certaines motivations liées aux affaires pour rédiger et publier ses recherches dans de la même manière. Cela dit, l’équipe le papier est public, ce qui signifie que vous pouvez le lire vous-même et tirer vos propres conclusions sur leurs découvertes et leurs méthodologies.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
