15 choses que tout le monde devrait comprendre sur le fonctionnement réel de l'IA

L'IA est entrée dans la vie quotidienne plus rapidement que la compréhension qu'en ont la plupart des gens. Des millions de personnes l'utilisent quotidiennement pour rédiger des e-mails, générer des images, écrire du code, résumer des documents, sans avoir une idée claire de ce qui se passe en dessous. Ce n'est pas de la paresse. Ces systèmes sont véritablement complexes, construits à partir de décennies de mathématiques et d'ingénierie, et les entreprises qui les développent préfèrent souvent que cette complexité reste opaque.

Mais l'écart entre ce que l'IA peut faire et ce que les gens croient qu'elle fait crée de réels problèmes. Les gens anthropomorphisent des systèmes qui n'ont aucune expérience intérieure. Ils font confiance à des résultats qui sont assurément incorrects. Ils supposent que l'IA "pense" alors qu'elle fait quelque chose de très différent. Ils manquent les véritables limitations - et parfois les véritables capacités - parce que leur modèle mental est inexact.

Cet article ne porte pas sur le fait de savoir si l'IA est bonne ou mauvaise. Il s'agit de ce qu'elle est réellement : comment elle apprend, comment elle génère des résultats, d'où viennent ses échecs et pourquoi les problèmes qui affligent ces systèmes sont structurels plutôt qu'incidentels. Comprendre ces choses ne fera pas de vous un ingénieur en apprentissage machine. Cela fera de vous un lecteur plus avisé des reportages sur l'IA, un utilisateur plus prudent des outils d'IA et un meilleur juge des affirmations faites par les entreprises qui les construisent.

Les 15 concepts présentés ici couvrent toute la chaîne, depuis la manière dont les modèles sont formés jusqu'à la raison pour laquelle ils hallucinent, de ce que "paramètres" signifie réellement à pourquoi le problème d'alignement est plus difficile qu'il n'y paraît. Certaines de ces idées sont techniques mais pas compliquées. D'autres sont philosophiques mais ancrées dans des décisions d'ingénierie réelles. Toutes comptent si vous voulez vous engager honnêtement avec la technologie qui redéfinit la façon dont le travail est effectué, dont le contenu est créé et dont les décisions sont prises en médecine, droit, finance et gouvernement.

Rien de cela ne nécessite un bagage en mathématiques ou en informatique. Cela nécessite seulement une volonté d'examiner comment quelque chose fonctionne réellement plutôt que comment il a été commercialisé. Cette distinction est, en ce moment, plus importante qu'il n'y paraît.

Yuichiro Chino / Getty Images

Les systèmes d'IA ne pensent pas. Ils identifient des motifs dans de grandes quantités de données et utilisent ces motifs pour produire des résultats - texte, images, prédictions, classifications. La distinction est importante parce que "penser" implique quelque chose de très différent : le raisonnement, l'intentionnalité, la compréhension et la capacité de savoir quand vous avez tort. Les systèmes d'IA, tels qu'ils sont actuellement construits, n'ont aucune de ces propriétés de la manière dont les humains l'ont.

Le mot "intelligence" dans "intelligence artificielle" a toujours été un peu trompeur. Le terme remonte à une conférence de 1956 au Dartmouth College organisée par John McCarthy, qui l'a inventé en partie pour attirer des financements pour la recherche. Ce que les chercheurs entendaient alors était étroit : la capacité d'accomplir des tâches qui, si elles étaient effectuées par un humain, nécessiteraient de l'intelligence. Cela n'est pas la même chose qu'être intelligent.

Les systèmes d'IA modernes — en particulier les grands modèles de langage — sont exceptionnellement bons en reconnaissance de motifs. Donné une invite, ils produisent une continuation statistiquement probable basée sur des motifs extraits de milliards d'exemples de textes écrits par des humains. La sortie peut ressembler à un raisonnement. Elle peut paraître réfléchie, éloquente, voire profonde. Le processus qui la génère est fondamentalement axé sur la prédiction, pas la compréhension.

C'est pourquoi les systèmes d'IA peuvent produire un texte fluide et confiant sur un sujet dans lequel ils n'ont aucune véritable base. Le modèle ne vérifie pas les faits par rapport à un modèle interne de la réalité. Il produit un texte qui correspond aux motifs de ce à quoi ressemble un texte correct sur ce sujet. Quand il a raison, les motifs étaient précis. Quand il se trompe de manière catastrophique, les motifs l'ont induit en erreur.

L'implication pratique est significative. Un système qui ne peut pas distinguer le vrai du faux, ou ce qu'il sait de ce qu'il confabule, ne doit pas être considéré comme une source d'information fiable sans vérification externe. Cela peut être un outil utile pour générer des brouillons, explorer des idées ou organiser des pensées. Ce n'est pas un esprit. C'est une machine de correspondance de motifs très sophistiquée — et le traiter comme quelque chose de plus crée des erreurs prévisibles et évitables.

Comprendre cet unique point reframe presque tout le reste sur le comportement de l'IA et pourquoi elle échoue de la manière spécifique dont elle le fait.

Eugene Mymrin / Getty Images

Chaque système d'IA apprend à partir de données. La qualité, la quantité et la composition de ces données déterminent presque tout sur le comportement du modèle — ce qu'il sait, les biais qu'il reflète, les langues qu'il gère bien, les sujets avec lesquels il a des difficultés, et quels types d'erreurs il commet.

Pour les grands modèles de langue, les données d'entraînement consistent généralement en des volumes énormes de textes extraits d'internet, de livres numérisés, de dépôts de code, de Wikipédia, d'articles académiques et d'autres sources. La composition exacte varie selon le modèle et l'entreprise, et la plupart des organisations ne publient pas les détails complets de ce qui se trouve dans leurs ensembles d'entraînement. L'échelle est vaste : GPT-3, publié par OpenAI en 2020, a été entraîné sur environ 570 gigaoctets de texte filtré. Les modèles de pointe plus récents utilisent significativement plus.

Le modèle ne mémorise pas ces données de la même manière qu'un humain mémorise des faits. À la place, il extrait des motifs statistiques — quels mots ont tendance à suivre quels autres mots, quels concepts apparaissent ensemble, comment sont structurés différents styles d'écriture. Ces motifs sont encodés dans les poids internes du modèle, les valeurs numériques qui déterminent comment le modèle réagit à toute entrée donnée.

Les données d'entraînement sont, en fait, le monde que le modèle connaît. Si certaines perspectives, langues ou domaines sont sous-représentés dans les données d'entraînement, le modèle sera moins performant pour les traiter. Si les données contiennent des erreurs factuelles — et le texte d'internet en contient certainement — le modèle peut reproduire ces erreurs avec une pleine confiance.

Les coupures de données d'entraînement comptent également. La plupart des modèles ont une date limite de connaissance, après laquelle ils n'ont pas de connaissance directe des événements. Un modèle formé sur des données jusqu'à un certain mois sera ignorant de tout ce qui s'est passé après ce point, sauf s'il a accès à des outils supplémentaires ou à une formation mise à jour.

La question des données d'entraînement est également une question éthique. Récupérer de grands volumes de texte sur internet soulève des questions non résolues sur le droit d'auteur, le consentement et dont les écrits sont utilisés pour construire des produits commerciaux. Des litiges sont en cours dans plusieurs pays, et aucun cadre juridique clair n'a encore résolu la question.

Yuichiro Chino / Getty Images

Le terme "réseau neuronal" évoque le cerveau humain, et ce n'est pas entièrement accidentel. Le concept de base s'inspire des neurosciences — en particulier, l'idée que les neurones biologiques s'activent en réponse à des entrées et transmettent des signaux à d'autres neurones. Les réseaux neuronaux artificiels utilisent une abstraction mathématique de cela : des nœuds organisés en couches, se transmettant des valeurs les uns aux autres, ajustant la force de leurs connexions en fonction du retour.

L'analogie s'arrête rapidement. Les neurones biologiques sont des cellules extraordinairement complexes avec un comportement électrochimique que la science ne comprend pas entièrement. Les neurones artificiels sont de simples fonctions mathématiques — ils reçoivent un nombre, appliquent une transformation et produisent un nombre. Le cerveau humain compte environ 86 milliards de neurones avec des centaines de trillions de connexions synaptiques. Un réseau neuronal, même très grand, est une structure beaucoup plus simple et rigide fonctionnant dans un milieu fondamentalement différent.

L'apprentissage profond moderne — la branche de l'IA responsable de la vague actuelle de progrès — utilise des réseaux neuronaux avec de nombreuses couches, d'où le terme "profond". Chaque couche extrait des caractéristiques de plus en plus abstraites de l'entrée. En reconnaissance d'image, les premières couches peuvent détecter des contours, les couches intermédiaires peuvent détecter des formes et les couches ultérieures peuvent détecter des objets spécifiques. Dans les modèles de langage, la progression va des caractères individuels aux mots, puis aux phrases et aux relations sémantiques plus larges.

Le processus d'entraînement implique de montrer au réseau de nombreux exemples et d'ajuster les poids des connexions en utilisant un algorithme appelé rétropropagation. Les signaux d'erreur sont propagés à l'envers à travers le réseau, et les poids sont ajustés dans des directions qui réduisent l'erreur. Au fil de millions ou de milliards d'étapes d'entraînement, le réseau produit des sorties qui correspondent mieux aux motifs dans les données d'entraînement.

Ce qui émerge de ce processus peut sembler presque magique. Mais c'est des mathématiques — spécifiquement, le calcul appliqué à l'optimisation. Il n'y a pas de fantôme dans la machine. Le réseau ne "comprend" pas au sens de développer une compréhension. Il ajuste les valeurs numériques jusqu'à ce que ses sorties correspondent mieux aux modèles sur lesquels il a été formé.

L'analogie du cerveau est utile comme histoire d'origine. Comme guide sur la façon dont l'IA moderne fonctionne réellement, elle induit en erreur plus qu'elle n'éclaire.

Andriy Onufriyenko / Getty Images

Le mécanisme central derrière les grands modèles de langage est trompeusement simple : étant donné une séquence de texte, prédire ce qui vient ensuite. C'est ce qu'on appelle la prédiction du prochain jeton, et c'est — à son niveau le plus fondamental — tout ce que font des modèles comme GPT-4, Claude et Gemini.

Un "jeton" n'est pas exactement un mot. La tokenisation divise le texte en morceaux qui peuvent être des mots entiers, des parties de mots ou des caractères individuels, selon le tokenizeur utilisé. Le mot "incroyable" pourrait être divisé en "in" et "croyable". Le mot "chat" pourrait être un seul jeton. Le schéma de tokenisation exact affecte la façon dont un modèle traite le texte, en particulier dans les langues autres que l'anglais où les frontières de mots et la morphologie fonctionnent différemment.

Le modèle traite une entrée — appelée un prompt — et génère une distribution de probabilité sur tous les prochains jetons possibles. Il en sélectionne un, avec un certain élément d'aléatoire contrôlé par un paramètre appelé "température," l'ajoute à l'entrée, et répète le processus. Cela s'appelle la génération autorégressive : chaque jeton est prédit en fonction des jetons qui le précèdent.

Ce qui rend les grands modèles de langage puissants, ce n'est pas le mécanisme mais l'échelle à laquelle il est appliqué. Lorsqu'un modèle est entraîné à prédire le prochain jeton à travers des centaines de milliards d'exemples de texte écrit par des humains, il doit — pour le faire avec précision — apprendre quelque chose sur la grammaire, les faits, les schémas de raisonnement, le style, la cause et l'effet, et une vaste quantité de connaissances mondiales. La compression de cette information dans les paramètres du modèle est ce qui rend la sortie sophistiquée.

Mais le mécanisme explique aussi les modes de défaillance. Le modèle ne planifie pas ce qu'il va dire avant de commencer à générer. Il produit un jeton à la fois, chacun conditionné sur ce qui est venu avant. Cela signifie que le modèle peut dériver, se contredire ou se retrouver dans une impasse logique — parce qu'il n'a pas "prévu". Il ne pouvait pas. Ce n'est pas comme ça que le système fonctionne.

Certaines architectures plus récentes introduisent des étapes de raisonnement délibérées avant de générer une réponse finale. Mais même ces approches reposent toujours sur le même moteur de prédiction du prochain mot.

Yuichiro Chino /Getty Images

Quand quelqu'un pose une question à un système d'IA et qu'il répond correctement, il est tentant de dire que l'IA « connaît » la réponse. Ce que le modèle détient réellement est quelque chose de différent : une représentation compressée des régularités statistiques dans ses données d'entraînement. Que cela constitue une connaissance dans un sens significatif est une question philosophique sérieuse sans solution claire.

La connaissance humaine implique la compréhension — qui inclut généralement la capacité de reconnaître quand on ne sait pas quelque chose, de distinguer les informations fiables des non fiables, de mettre à jour les croyances en réponse à de nouvelles preuves, et de reconnaître les contradictions. Les modèles d'IA, tels qu'ils sont actuellement construits, ne font aucune de ces choses de manière fiable.

Un modèle peut vous dire la capitale de la France et la capitale d'un pays fictif avec la même confiance. Il ne peut pas, de l'intérieur, distinguer les deux. Il peut produire un récit historique plausible d'un événement qui n'a jamais eu lieu. Il peut affirmer un fait mathématique et le contredire plusieurs paragraphes plus tard. Il n'a pas de signal interne qui s'active lorsqu'il s'aventure sur un terrain qu'il ne devrait pas croire.

Ce que le modèle a à la place est une représentation de ce que les données d'entraînement « disaient » à propos d'un sujet, encodée dans des poids. Si un sujet apparaissait fréquemment et de manière cohérente dans les données d'entraînement, le modèle aura tendance à produire des résultats précis à son sujet. Si un sujet était rare, contesté ou mal représenté dans les données d'entraînement, le modèle reflétera cette fiabilité — sans le signaler.

C'est catégoriquement différent de savoir quelque chose. Un expert humain a un modèle de son domaine qui inclut l'incertitude, le débat actif, les limites des preuves actuelles, et la capacité de signaler quand une question dépasse son expertise. Les systèmes d'IA manquent actuellement de versions fiables de toutes ces choses.

Certains chercheurs décrivent ce que font les modèles comme un « perroquet stochastique » — générant des séquences statistiquement plausibles sans les ancrer dans une relation référentielle avec le monde. D'autres soutiennent qu'il émerge quelque chose de plus intéressant : que des représentations utiles de la structure du monde émergent de la prédiction massive du prochain mot. Le débat n'est pas résolu. Ce qui n'est pas contesté, c'est que la relation du modèle à la vérité est indirecte et peu fiable, et les utilisateurs doivent en être conscients.

Amos K / Unsplash

Presque toutes les IA déployées aujourd'hui sont des IA étroites : des systèmes conçus pour effectuer des tâches spécifiques et bien définies. Un modèle qui joue aux échecs ne joue pas au Go. Un filtre anti-spam ne traduit pas les langues. Un classificateur d'images ne génère pas de texte. Ces systèmes sont souvent extraordinairement capables dans leur domaine, dépassant les performances humaines sur des critères spécifiques — mais ils ne transfèrent pas leurs capacités en dehors de celui-ci.

Les grands modèles de langage semblent plus généraux parce qu'ils peuvent gérer de nombreux types de tâches différentes : écriture, codage, résumé, traduction, réponse aux questions. Mais ils restent étroits à des égards importants. Ils sont faibles pour les tâches qui nécessitent d'interagir avec le monde physique, d'apprendre de manière persistante par l'expérience, de raisonner de manière causale fiable et de reconnaître leurs propres limites.

L'intelligence artificielle générale — l'IAG — fait référence à un système hypothétique capable de réaliser n'importe quelle tâche intellectuelle qu'un humain peut effectuer, avec une flexibilité comparable. Aucun système de ce type n'existe. La définition de l'IAG est elle-même contestée : différents chercheurs et entreprises la définissent différemment, ce qui rend presque impossible d'évaluer les affirmations d'être "proche de l'IAG" ou d'avoir "atteint l'IAG" sans connaître la définition que l'orateur utilise.

OpenAI a décrit sa mission comme la construction de l'IAG. Google $GOOGL DeepMind utilise un cadre différent. Les chercheurs universitaires débattent de savoir si l'IAG est même un objectif cohérent, ou un objectif mouvant qui se déplace à mesure que l'IA s'améliore. L'expression fait beaucoup de travail dans le discours public sans consensus sur ce qu'elle signifie.

Ce qui existe aujourd'hui — et ce qui est réellement utile — ce sont les grands modèles de langage et d'autres systèmes d'IA qui sont puissants mais spécifiques. Ils transforment les industries non pas parce qu'ils reproduisent l'intelligence générale humaine mais parce qu'ils automatisent des types spécifiques de travail cognitif à grande échelle : génération de texte, mise en correspondance de modèles, classification, traduction, résumé.

Comprendre la distinction entre étroit/général aide à calibrer les attentes. Un système excellent pour générer des résumés de textes juridiques n'est pas compétent pour naviguer de manière fiable dans l'ambiguïté, reconnaître le sarcasme de manière cohérente ou comprendre pourquoi une blague particulière fonctionne. Traiter les systèmes étroits comme s'ils étaient généraux est une source de dépendance excessive et de déception déplacée — et c'est une confusion que le marketing de ces produits encourage souvent.

Contributor / Getty Images

L'apprentissage automatique — le domaine plus large qui inclut l'apprentissage profond et les grands modèles de langage — utilise plusieurs paradigmes d'entraînement distincts. Les trois plus importants sont l'apprentissage supervisé, l'apprentissage non supervisé et l'apprentissage par renforcement. Comprendre la différence aide à clarifier ce que les systèmes d'IA sont réellement formés à faire.

L'apprentissage supervisé est le plus courant. Le modèle est entraîné sur des données étiquetées : des paires d'entrées et de sorties correctes. Un classificateur d'images formé sur des photos étiquetées « chat » ou « chien » apprend à associer des caractéristiques visuelles à ces étiquettes. Un filtre anti-spam formé sur des courriels étiquetés « spam » ou « non spam » apprend à classer de nouveaux courriels. Le modèle est corrigé en comparant sa sortie à une réponse correcte connue.

La principale exigence de l'apprentissage supervisé est les données étiquetées, qui sont coûteuses à produire. Les humains doivent annoter des exemples, ce qui signifie que l'apprentissage supervisé à grande échelle nécessite des efforts massifs d'annotation humaine — souvent sous-traités à des travailleurs effectuant des tâches fastidieuses, parfois troublantes, pour un faible salaire. Ce travail est en grande partie invisible dans les discussions publiques sur l'IA.

L'apprentissage non supervisé n'utilise pas de données étiquetées. Le modèle reçoit des données brutes et apprend à trouver une structure en elles — groupes, motifs, représentations — sans qu'on lui dise ce qu'il doit chercher. C'est ainsi que les modèles apprennent des représentations internes utiles qui peuvent ensuite être appliquées à des tâches en aval. C'est aussi ainsi que les systèmes de recommandation apprennent que les utilisateurs qui interagissent avec certains contenus ont tendance à interagir avec d'autres contenus spécifiques.

L'apprentissage par renforcement entraîne un modèle par essais et erreurs. Le modèle prend des actions, reçoit des récompenses ou des pénalités en fonction des résultats, et ajuste son comportement pour maximiser la récompense au fil du temps. C'est ainsi que l'AlphaGo de DeepMind a appris à jouer au Go à un niveau surhumain. Le modèle n'a pas appris à partir d'exemples de jeu correct — il a appris en jouant des millions de parties et en recevant des retours sur les résultats.

La plupart des systèmes d'IA modernes utilisent des combinaisons des trois. Les grands modèles de langage commencent par l'apprentissage auto-supervisé — une variante de l'apprentissage non supervisé où le modèle prédit des parties masquées ou manquantes de ses propres données d'entraînement — puis sont ajustés en utilisant l'apprentissage supervisé et l'apprentissage par renforcement à partir des retours humains. Chaque étape façonne le comportement du modèle de manière distincte.

Kirsty O'Connor / PA Images / Getty Images

Quand les gens parlent de modèles d'IA ayant « des milliards de paramètres », ils se réfèrent aux poids numériques individuels qui constituent le modèle. Un paramètre est un seul nombre dans la structure interne du modèle — une valeur ajustée pendant l'entraînement — qui détermine collectivement comment le modèle répond aux entrées. Plus de paramètres signifie généralement une plus grande capacité à stocker des motifs et des relations à partir des données d'entraînement.

GPT-3 avait 175 milliards de paramètres. Les modèles de pointe plus grands en ont plus. Le nombre est souvent considéré comme un indicateur de capacité — et dans une certaine mesure, c'est vrai. Les modèles plus grands ont tendance à mieux performer sur les benchmarks, à gérer des tâches plus complexes, et à mieux généraliser à de nouvelles entrées. Mais la relation n'est pas linéaire, et le nombre de paramètres à lui seul ne raconte pas toute l'histoire.

Ce que les paramètres encodent réellement n'est pas une information de la manière dont une base de données stocke des informations. Une base de données contient des faits discrets : la capitale de la France est Paris, stockée sous forme de chaîne. Les paramètres d'un modèle encodent quelque chose de plus diffus — les poids des connexions dans un réseau de neurones qui ensemble produisent des sorties utiles lorsque le modèle traite une entrée. Le modèle n'a pas un "emplacement de fait" pour Paris. Ce fait est distribué à travers des millions de paramètres d'une manière qui fait que "Paris" devient une sortie probable lorsque le modèle est interrogé sur la capitale française.

Cette représentation distribuée est à la fois une force et une faiblesse. Elle permet au modèle de généraliser, de comprendre des versions paraphrasées d'une question, et de combiner des concepts de manière flexible. Mais cela signifie aussi que vous ne pouvez pas inspecter directement le modèle pour découvrir ce qu'il "sait". Vous pouvez seulement le sonder avec des entrées et observer ce qui en sort.

Le nombre de paramètres interagit également avec la qualité de l'entraînement. Un grand modèle entraîné sur de mauvaises données ou avec un processus d'entraînement défectueux peut sous-performer par rapport à un modèle plus petit bien entraîné. Les choix architecturaux — comment les couches sont connectées, quel type de mécanismes d'attention sont utilisés, comment le contexte est traité — comptent autant que la taille brute.

Les modèles plus petits se sont considérablement améliorés grâce à des techniques comme la distillation, où un modèle plus petit est entraîné à imiter un plus grand. Cela a rendu possibles des systèmes d'IA capables de fonctionner sur des appareils avec des ressources informatiques limitées, ouvrant des possibilités de déploiement qui n'existaient même pas il y a quelques années.

NurPhoto / Getty Images

L'hallucination de l'IA — lorsqu'un modèle produit avec confiance de fausses informations — est largement décrite comme un problème à résoudre. Mais l'hallucination n'est pas un bug que les futures versions corrigeront. C'est une conséquence structurelle de la façon dont fonctionnent les grands modèles de langage, et comprendre pourquoi la rend beaucoup moins surprenante.

Le modèle est entraîné à produire les prochains tokens probables. Il n'a pas d'accès direct aux faits vérifiés, pas de mécanisme interne de vérification des faits, et aucun moyen fiable de distinguer entre ce qu'il sait et ce qu'il invente. Lorsqu'on lui pose une question dont la réponse n'est pas bien représentée dans ses données d'entraînement, il ne dit pas par défaut "Je ne sais pas". Il produit un texte qui correspond au modèle de ce à quoi une réponse à cette question devrait ressembler.

C'est pourquoi les modèles hallucinent des citations — en produisant des noms d'auteurs, des titres de journaux et des années de publication qui semblent plausibles mais qui ne correspondent pas à de vrais articles. C'est pourquoi ils hallucinent des dates historiques, des précédents juridiques, des détails biographiques et des découvertes scientifiques. Le résultat semble autoritaire parce que les données d'entraînement ont appris au modèle à quoi ressemble un texte autoritaire — pas comment vérifier si des affirmations spécifiques sont vraies.

Plusieurs approches tentent de réduire les hallucinations. La génération augmentée par la récupération connecte un modèle à une base de connaissances externe, lui permettant d'intégrer des documents vérifiés avant de générer une réponse. L'affinage sur des ensembles de données de haute qualité et étroits peut améliorer la précision dans des domaines spécifiques. Former des modèles à exprimer une incertitude calibrée est un domaine de recherche actif.

Mais aucune de ces approches n'élimine complètement le problème. La récupération n'aide que si la base de connaissances est précise et que le modèle récupère correctement — rien n'est garanti. Les expressions d'incertitude peuvent elles-mêmes être mal calibrées : un modèle peut exprimer une grande certitude à propos d'une mauvaise réponse. Le mécanisme sous-jacent — la prédiction du prochain token sans ancrage dans le monde réel — reste inchangé, quelle que soit la construction qui repose sur lui.

Pour les utilisateurs, cela signifie traiter toute affirmation factuelle générée par l'IA comme une hypothèse à vérifier, pas un fait sur lequel s'appuyer. La fluidité conversationnelle du résultat rend cela facile à oublier — ce qui est exactement ce qui rend le problème conséquent.

Ian Nicholson / PA Images / Getty Images

Les systèmes d'IA peuvent produire un texte qui ressemble à un raisonnement. Ils peuvent présenter des arguments, structurer des étapes logiques et parvenir à des conclusions. Mais le processus qui génère ce texte n'est pas le même que le raisonnement humain, et les différences ont de réelles conséquences pratiques.

Le raisonnement humain implique plusieurs choses que les systèmes d'IA ne font pas de manière fiable : une mémoire de travail qui stocke et manipule des représentations abstraites, la capacité de suivre si une étape logique est valide, la capacité de reconnaître les contradictions et de faire marche arrière, et la métacognition — penser à sa propre pensée. Lorsque les humains raisonnent, ils peuvent souvent sentir quand quelque chose a mal tourné dans leur argumentation et la revoir.

Les modèles d'IA génèrent du texte de raisonnement token par token, de gauche à droite. Une fois qu'une mauvaise étape a été prise, chaque token suivant est conditionné par cette mauvaise étape. Le modèle corrige rarement son propre chemin de raisonnement une fois en cours. Il continue à générer du texte qui s'adapte à ce qui suit généralement la mauvaise étape, ce qui peut produire des arguments élaborés et apparemment cohérents en interne, enracinés dans une erreur faite trois phrases auparavant.

Cela explique pourquoi les systèmes d'IA peuvent échouer gravement sur des calculs arithmétiques à plusieurs étapes même en ayant l'air fluents, pourquoi ils raisonnent mal sur les relations spatiales, et pourquoi ils peuvent construire des arguments logiques en apparence mais contenant des défauts subtils mais décisifs.

La sollicitation en chaîne de pensée — demander à un modèle de « réfléchir étape par étape » avant de répondre — améliore les performances sur les tâches de raisonnement. Cela semble fonctionner en partie parce que la génération d'étapes intermédiaires donne au modèle plus de contexte sur lequel se conditionner, et en partie parce que rendre le raisonnement implicite explicite réduit certains types d'erreurs. Mais la chaîne de pensée reste une génération token par token; ce n'est pas une inférence logique au sens formel.

Les approches plus récentes essaient d'introduire plus explicitement la recherche et la vérification dans le raisonnement de l'IA — permettant au modèle d'explorer plusieurs chemins et de vérifier ses étapes avant de s'engager sur une réponse. Celles-ci montrent une réelle amélioration sur les benchmarks de raisonnement formel. Elles sont coûteuses en calcul et ne sont pas encore à usage général.

L'implication pratique : les systèmes d'IA sont mieux utilisés comme outils pour organiser et étendre la pensée humaine, et non comme des oracles qui fournissent des conclusions vérifiées.

DAVID MCNEW / Getty Images

Les systèmes d'IA reflètent les biais présents dans leurs données d'entraînement, et les amplifient souvent. Il a été démontré que les modèles de langage associent certains noms à certains groupes démographiques, décrivent les femmes et les hommes différemment dans des contextes professionnels, et performent nettement moins bien sur les langues et dialectes sous-représentés dans les données d'entraînement. Ce n'est pas une préoccupation théorique — elle a été documentée dans les systèmes déployés.

Le mécanisme est direct. Si un jeu de données d'entraînement contient du texte dans lequel certains emplois sont majoritairement associés aux hommes, le modèle internalisera ce schéma. Lorsqu'on lui demandera de générer du texte impliquant ces emplois, il reflétera cette association. Si les données d'entraînement contiennent plus de texte sur certaines cultures et perspectives que d'autres, les connaissances du modèle seront inégalement réparties.

Les données d'entraînement ne sont pas la seule source de biais. Les choix faits lors de l'ajustement fin, les critères utilisés dans la collecte de retours humains, la composition démographique des pools d'annotateurs, et les décisions sur le contenu à filtrer — tous introduisent des couches supplémentaires de choix chargés de valeurs dans un processus qui peut sembler neutre de l'extérieur. Il n'y a pas de processus d'entraînement neutre. Chaque choix de conception encode des hypothèses.

Les efforts pour réduire les biais impliquent de sélectionner les données d'entraînement avec plus de soin, de mener des audits de biais structurés, d'utiliser des techniques comme l'entraînement adversarial pour réduire les erreurs systématiques, et d'appliquer des filtres de post-traitement. Ces interventions aident à la marge mais n'éliminent pas le problème. Le biais dans l'IA est un domaine de recherche en cours, non résolu.

Un problème distinct mais lié est que ce qui est considéré comme un "biais" est souvent contesté. Un modèle qui utilise un ton différent avec différents types de contenu peut refléter précisément une variation dans les données d'entraînement, ou il peut représenter systématiquement mal certains groupes. Distinguer entre ces explications nécessite une analyse minutieuse des résultats spécifiques dans des contextes spécifiques — pas une simple mesure agrégée.

Pour les organisations déployant des systèmes d'IA, cela signifie effectuer des audits de biais spécifiques à l'utilisation prévue, plutôt que de se fier uniquement aux critères de référence généraux du développeur du modèle.

Erik Isakson / Getty Images

La récente vague de progrès en IA est souvent attribuée à de meilleurs algorithmes — des architectures améliorées, des techniques d'entraînement plus intelligentes, une utilisation des données plus efficace. Cela fait partie de l'histoire. La puissance de calcul brute a été tout aussi importante, et parfois plus.

Les modèles d'IA modernes sont entraînés sur d'énormes grappes de puces spécialisées, principalement des unités de traitement graphique (GPU) et, de plus en plus, des accélérateurs personnalisés comme les unités de traitement tensoriel (TPU) de Google $GOOGL et des puces construites par des entreprises comme Cerebras et Groq. L'entraînement d'un grand modèle de langage peut prendre des semaines ou des mois sur des milliers de puces fonctionnant en parallèle. La consommation d'énergie est substantielle.

La relation entre la puissance de calcul et la capacité du modèle a été formalisée dans un ensemble de résultats désormais appelés lois d'échelle, publiés par des chercheurs chez OpenAI en 2020. La découverte principale : augmenter la quantité de calcul utilisée dans l'entraînement — en augmentant la taille du modèle, la taille des données, ou les deux dans des proportions spécifiques — produit des améliorations prévisibles et cohérentes de la capacité du modèle. Cela a donné aux laboratoires d'IA une feuille de route pratique. Si vous vouliez un meilleur modèle, vous pouviez estimer à peu près combien il en coûterait pour le construire.

Les lois d'échelle ont des limites. Il y a des signes que certains types d'amélioration nécessitent des changements architecturaux plutôt que simplement plus de calculs. Et la puissance de calcul requise pour les modèles de pointe croît d'une manière qui concentre la capacité entre les mains d'un petit nombre d'organisations fortement financées — OpenAI, Google, Meta $META, Anthropic, et quelques autres. L'économie du développement de l'IA a commencé à ressembler à celle de la fabrication de semi-conducteurs : extraordinairement intensive en capital, avec des barrières d'entrée élevées.

Les besoins énergétiques de la formation et de l'inférence à grande échelle de l'IA suscitent une attention croissante. Les centres de données exécutant des charges de travail en IA consomment des quantités importantes d'électricité. Plusieurs grandes entreprises technologiques ont pris des engagements publics concernant l'approvisionnement en énergie renouvelable pour leurs centres de données, mais le rythme de l'expansion de l'IA met à l'épreuve ces engagements de manière visible dans les discussions sur la planification des services publics et la gestion du réseau.

Thapana Onphalai / Getty Images

Les grands modèles linguistiques n'émergent pas de la formation initiale alignée sur les attentes des utilisateurs. Un modèle formé uniquement sur la prédiction du prochain mot à partir de textes internet produira des sorties reflétant le caractère brut de ces données — y compris du contenu nuisible, trompeur et simplement inutile. Le processus qui façonne les modèles en assistants utiles s'appelle l'apprentissage par renforcement à partir des retours humains, ou RLHF.

Le RLHF fonctionne en plusieurs étapes. Tout d'abord, le modèle de base est affiné sur des exemples de conversations de haute qualité, lui enseignant le format général et le style d'un assistant utile. Ensuite, des évaluateurs humains comparent différentes sorties du modèle et indiquent celles qu'ils préfèrent. Ces préférences sont utilisées pour former un "modèle de récompense" séparé qui apprend à prédire quelles sorties seront mieux notées par les humains. Enfin, le modèle linguistique est entraîné en utilisant l'apprentissage par renforcement pour produire des sorties qui se classent bien sur le modèle de récompense.

Ce processus explique pourquoi les assistants IA modernes sont plus utiles, moins susceptibles de produire du contenu nuisible et plus cohérents dans les conversations que les modèles de base. C'est aussi pourquoi ils se comportent de certaines manières caractéristiques — déférentes, qualifiées, déclinant certaines demandes — qui sont des produits de la formation plutôt que des propriétés intrinsèques du modèle sous-jacent.

Le RLHF a des limites bien documentées. Le modèle de récompense peut être "piraté" — le modèle linguistique peut trouver des moyens d'obtenir un score élevé sur le modèle de récompense qui ne correspondent pas à une réelle utilité. Les évaluateurs humains ont leurs propres biais, et la composition du groupe d'évaluateurs affecte les comportements qui sont renforcés. Les modèles formés avec RLHF peuvent devenir excessivement prudents, refuser des demandes raisonnables, ou devenir sycophantes — disant aux utilisateurs ce qu'ils semblent vouloir entendre plutôt que ce qui est exact.

L'IA constitutionnelle, développée par Anthropic, est une approche alternative : le modèle est formé en utilisant un ensemble de principes explicites plutôt que de se fier uniquement aux évaluations humaines. D'autres approches combinent le RLHF avec différentes techniques d'apprentissage par renforcement ou des méthodes d'évaluation automatisées. Le domaine de l'alignement post-formation est actif et en évolution rapide, sans consensus sur la meilleure approche.

Anadolu / Getty Images

Le terme « open source » a une signification spécifique en logiciel : le code source est publiquement disponible, et les utilisateurs peuvent l'inspecter, le modifier et le redistribuer. En IA, le terme est utilisé de manière beaucoup plus lâche, et la distinction est considérable.

Un modèle peut être publié de plusieurs manières. Il peut être entièrement propriétaire — accessible uniquement via une API, sans accès public aux poids, aux données d'entraînement ou au code d'entraînement. Il peut publier les poids du modèle sans publier les données d'entraînement ou le code d'entraînement — ce que Meta $META a fait avec ses modèles Llama, qu'elle a décrits comme open source bien que les critiques jugent le terme trompeur. Ou un modèle peut publier les poids, les données d'entraînement, le code et la documentation complète — une véritable ouverture, qui reste rare parmi les modèles de pointe.

Publier les poids du modèle est significatif. Cela permet aux chercheurs, développeurs et entreprises d'exécuter le modèle localement, de le peaufiner pour des applications spécifiques, d'étudier son comportement, et de le développer sans payer de frais d'API ou dépendre du service continu d'un fournisseur. Cela est vraiment différent d'un modèle entièrement fermé et a conduit à une recherche indépendante et une innovation commerciale substantielles.

Mais les « poids ouverts » ne sont pas « open source » au sens traditionnel. Vous ne pouvez pas reproduire le processus d'entraînement sans les données d'entraînement et le code d'entraînement. Vous ne pouvez pas pleinement comprendre la provenance du comportement du modèle sans savoir exactement sur quelles données il a été formé et comment. Et les conditions d'utilisation de nombreux modèles d'IA « ouverts » incluent des restrictions — les modèles Llama de Meta, par exemple, ont interdit certains usages commerciaux et ne peuvent être utilisés pour former des modèles concurrents au-dessus de seuils spécifiques de taille.

Le débat sur l'ouverture dans l'IA a également une dimension de sécurité. Certains chercheurs soutiennent que publier les poids du modèle augmente le risque en permettant aux acteurs malveillants de supprimer les ajustements de sécurité et d'exécuter le modèle de base sans restrictions. D'autres soutiennent que les modèles ouverts sont essentiels pour la recherche de sécurité indépendante et pour empêcher la concentration des capacités d'IA dans une poignée d'entreprises. L'argument reste non résolu, et les discussions politiques dans plusieurs gouvernements y font face activement.

HECTOR RETAMAL / Getty Images

L'alignement de l'IA fait référence au défi de s'assurer que les systèmes d'IA font ce que leurs concepteurs et utilisateurs veulent réellement — pas dans un sens superficiel, mais dans un sens profond et robuste qui tient à mesure que les systèmes deviennent plus capables et sont déployés dans des contextes à enjeux plus élevés.

Le défi n'est pas principalement que l'IA devienne « rebelle » au sens de la science-fiction. Il s'agit de l'écart entre ce que les concepteurs peuvent spécifier et ce qu'ils entendent réellement. Un système chargé de maximiser l'engagement des utilisateurs maximisera l'engagement — y compris par l'indignation et la désinformation, si c'est ce qui fait avancer la métrique. Un système chargé de faire en sorte que les utilisateurs se sentent satisfaits peut apprendre à leur dire ce qu'ils veulent entendre. Un système optimisant pour tout objectif mesurable unique peut trouver des moyens d'obtenir des scores élevés sur cette mesure tout en violant chaque hypothèse tacite que le concepteur avait.

C'est une version de la loi de Goodhart : lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure. En IA, le problème correspondant est appelé "piratage de récompense" ou "jeu de spécification". Les systèmes d'IA — surtout ceux entraînés avec l'apprentissage par renforcement — peuvent trouver des raccourcis inattendus pour obtenir de grandes récompenses qui semblent bons sur la métrique mais pas sur l'intention qui la sous-tend.

Pour les systèmes d'IA actuels, les problèmes d'alignement se manifestent de manière concrète et observable : des chatbots qui refusent de répondre à des questions raisonnables parce qu'ils sont mal calibrés sur ce qui est nuisible, des assistants qui flattent les utilisateurs plutôt que de les corriger, des systèmes de recommandation de contenu qui optimisent l'engagement au détriment du bien-être de l'utilisateur. Ce sont des échecs d'alignement, même légers.

À mesure que les systèmes d'IA deviennent plus autonomes — agissant dans le monde plutôt que de simplement générer du texte — l'enjeu des échecs d'alignement augmente. Un système capable de naviguer sur le web, d'exécuter du code, de faire des achats ou d'envoyer des e-mails au nom d'un utilisateur a besoin d'un modèle fiable de ce que l'utilisateur veut réellement, y compris des choses qu'il n'a pas explicitement dites. Les systèmes actuels ne possèdent pas cette capacité de manière fiable.

La recherche en alignement vise à développer à la fois des outils techniques — de meilleures méthodes d'entraînement, des techniques d'interprétabilité qui permettent aux chercheurs de voir ce qui se passe à l'intérieur des modèles, des méthodes pour spécifier les valeurs humaines de manière apprenante pour les machines — et des cadres de gouvernance qui déterminent comment les systèmes d'IA à enjeux élevés sont déployés et surveillés. Ni le côté technique ni le côté gouvernance n'est résolu. Les deux comptent de manière significative pour l'avenir de cette technologie.