L'ère de l'IA signifie que l'internet se divise en deux : un pour les personnes, un autre pour les bots.

Jason Alden/Bloomberg via Getty Images
Le plus ancien marché de l'internet est en train de se briser.
Pendant des décennies, les sites Web ont accueilli des crawlers. Se faire scraper — par Google $GOOGL ou n'importe quel moteur de recherche — signifiait être indexé, classé, découvert. Pour chaque deux robots qu'il envoyait à un site web, Google envoyait un utilisateur. Donc, se faire scraper signifiait du trafic web — et des affaires.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
Mais maintenant, alors que les outils d'intelligence artificielle générative s'empressent d'engloutir l'ensemble d'internet, se faire scraper signifie être contourné. Selon Cloudflare, pour chaque utilisateur que le créateur de ChatGPT OpenAI envoie sur un site, il envoie 1 500 bots. Pour Anthropic, ce chiffre est de 60 000. Le trafic provenant des visites humaines se stabilise alors que le trafic automatisé est en plein essor — parfois surpassant complètement les gens.
Et contrairement à l'ère Google, ces bots ne renvoient généralement pas à leur matériel source. Au lieu de cela, les modèles d'IA résument et fournissent des réponses dans leurs propres interfaces, gardant les utilisateurs enfermés - et coupant les sites Web et les créateurs de contenu hors du circuit.
Linda Tong, PDG de Webflow, une entreprise de conception et d'hébergement Web, l'a appelée l'un des changements les plus profonds qu'elle ait vus en 20 ans de gestion d'entreprises Internet. "Cela change fondamentalement la façon dont les gens trouvent et interagissent avec les marques," a-t-elle déclaré. "Et pour certaines entreprises, c'est une menace existentielle."
Ce qui va au cœur du problème. Alors qu'une grande partie de la conversation publique s'est concentrée sur les craintes que l'IA ne remplace les travailleurs humains, une menace plus immédiate n'attire pas autant d'attention - même si elle bouleverse les économies de base de l'internet lui-même.
Les bots explorent le web depuis le début des années 1990 - d'abord pour le cartographier, puis pour l'indexer, et finalement pour alimenter la montée de la recherche. Les premiers crawlers comme World Wide Web Wanderer a jeté les bases d'une ère où la visibilité signifiait viabilité. Au moment où le propre explorateur de Google — Backrub, plus tard Googlebot — est mis en ligne en 1996, une nouvelle logique avait pris racine : laissez les moteurs de recherche scanner votre contenu, et en retour, ils vous enverront du trafic.
Pendant la majeure partie des 30 années suivantes, cette logique a défini le web ouvert. La visibilité dans les résultats de Google était tout. Des blogs de niche aux plus grandes entreprises médiatiques de la planète, les sites web vivaient ou mouraient en fonction de leur classement de recherche. Des industries entières, sans parler des pratiques de conseil, ont émergé autour de l'optimisation des moteurs de recherche (SEO), de l'architecture de l'information et de la stratégie de contenu, tout cela pour aider les entreprises à mieux jouer le jeu.
Mais l'IA ne joue pas selon les anciennes règles.
Au lieu de créer des liens vers le matériel source, les LLM comme ChatGPT d'OpenAI, Claude d'Anthropic, et même Gemini de Google lisent et reformulent il — répondant directement aux requêtes des utilisateurs, la plupart du temps sans aucune attribution.
Ce changement donne naissance à un nouvel acronyme, AEO (signifiant optimisation du moteur d'IA), ainsi qu'à des stratégies entières pour rendre le contenu plus visible pour l'IA et plus efficace une fois absorbé par celle-ci, même si les réponses de l'IA ne mènent jamais à des clics. Si le SEO a façonné l'ère de la recherche, l'AEO est susceptible de définir l'âge de l'IA générative.
Les bots d'IA, a déclaré Tong, "synthétisent ce qu'ils peuvent accéder et explorer, et le présentent dans un format qui dépouille la proposition de valeur du site." Pas de clic. Pas de crédit. Juste des réponses.
Tong a déclaré que Webflow a vu le trafic des robots d'IA augmenter de plus de 125 % en seulement six mois. Dans l'ensemble de l'écosystème Internet, plus de 50 % de tout le trafic Internet provient désormais de robots. Et alors que le trafic des robots augmente en flèche, a déclaré Tong, certaines entreprises commencent à tracer une ligne — littéralement. Elles construisent deux versions de leurs sites web. L'une est conçue pour les humains, avec des visuels, des interactions et une narration de marque. Et l'autre est dépouillée, optimisée pour la lisibilité par les machines, et conçue pour nourrir la bête IA sans céder (pour ainsi dire) les joyaux de la couronne.
"Pour un humain, votre site doit être riche, interactif, agréable," a déclaré Tong. "Pour un robot? Vous voulez une structure claire, une facilité d'exploration, mais peut-être pas tout votre contenu." Certains éditeurs exposent maintenant juste un résumé ou un extrait aux explorateurs, espérant attirer l'indexation sans cannibaliser leur modèle de monétisation.
Le résultat est un Internet discrètement divisé : une version conçue pour ravir les utilisateurs humains, et une autre conçue pour ne fournir aux explorateurs que du contenu spécifique dans le but de protéger la valeur qui vaut encore un clic.
Pour certaines entreprises, y compris Webflow lui-même, être récupéré par l'IA peut en fait être une bonne affaire.
Si un utilisateur demande à ChatGPT la meilleure plateforme de création de sites web, et que Webflow est recommandé, c'est une précieuse exposition — d'autant plus que, comme Tong l'a noté, les utilisateurs arrivant par l'IA ont tendance à être mieux éduqués et plus "à haute intention", ou prêts à devenir clients, que ceux provenant de la recherche.
« Ils ont déjà fait leurs recherches », a-t-elle déclaré. « Lorsqu'ils arrivent sur votre site, ils s'inscrivent ou achètent. »
Mais cette logique s'effondre pour les entreprises qui dépendent à la fois du volume et lecteurs, en particulier les médias, les créateurs et toute personne dont le modèle dépend du trafic Web traditionnel. Si un chatbot résume un article de presse ou extrait les faits essentiels d'un guide ou d'une critique, cet utilisateur peut ne jamais cliquer. Et pas de clic signifie pas d'impressions publicitaires, pas d'inscriptions par e-mail, pas de données d'audience, pas de revenus, pas de valeur réalisée d'aucune sorte.
Adam Singolda, le PDG de Taboola, une plateforme ad-tech connue pour alimenter les liens « recommandés pour vous » sur des grands éditeurs, l'a dit crûment : « Nous avons déjà vu ce film. Les éditeurs ont donné leur contenu à Facebook $META pour les articles instantanés, et que s'est-il passé ? Pas de trafic. Pas d'argent. » Le déséquilibre était tel que tout le modèle s'est effondré, a-t-il dit.
C'est vrai. Facebook a lancé Instant Articles en 2015 avec la promesse de temps de chargement rapides et une expérience mobile sans faille. Les éditeurs ont signé, espérant atteindre de vastes audiences à l'intérieur de l'application Facebook. Mais bien que les articles instantanés aient tenu leur promesse de flux, ils n'ont pas réussi à générer des revenus substantiels. Les lecteurs sont restés à l'intérieur des murs de Facebook, contournant les sites propres des éditeurs, ainsi que les annonces, les inscriptions par e-mail et les outils de suivi qui alimentent leurs modèles économiques.
En quelques années, de nombreuses entreprises médiatiques ont abandonné le format, citant des retours décevants et un manque de contrôle. En 2023, Facebook a discrètement fermé le programme.
Singolda pense que des outils comme Perplexity et ChatGPT répètent cette erreur à plus grande échelle, mais avec encore moins d'avantages pour les éditeurs. Les effets sont déjà visibles, a-t-il déclaré. De nombreux éditeurs rapportent que le trafic de recherche a diminué de 20 à 30 % au cours de l'année écoulée, juste au moment où les outils d'IA ont atteint une adoption massive, avec ChatGPT revendiquant 400 millions d'utilisateurs actifs hebdomadaires.
« Ce n'est que la première vague », a déclaré Singolda. « Que se passe-t-il lorsque la prochaine arrive ? »
Face à ce découplage au ralenti du contenu et du trafic, les éditeurs et les plateformes ripostent. Certains ont signé des accords de licence — Reddit $RDDT, The New York Times et Vox Media parmi eux — permettant à certaines entreprises d'IA d'accéder à leur contenu en échange de frais importants. Mais ces accords sont l'exception, pas la règle.
« Il n'y a pas assez d'argent dans le monde pour payer tous les éditeurs dont le contenu est aspiré », dit Singolda. « Vous ne pouvez pas offrir 100 millions de dollars à mille médias. »
Tong envisage un avenir différent : un avenir dans lequel les éditeurs contrôlent qui peut accéder à leur contenu et ce qu'ils peuvent voir. Grâce au partenariat de Webflow avec Cloudflare, les entreprises peuvent désormais distinguer les bons robots, les mauvais robots et les LLM. Ils peuvent choisir de partager du contenu partiel, des résumés ou rien du tout.
Mais l'application reste quelque peu délicate. Tous les robots ne respectent pas le fichier robots.txt, le terme désignant la politique de crawl d'un site, qui est écrit en texte brut pour que les robots puissent le lire. Certaines entreprises — Perplexity a été publiquement accusé — utilisent des serveurs proxy pour aspirer du contenu même après avoir été bloqués. Ce qui signifie que même si les murs se dressent, le scraping continue.
Pendant ce temps, il y a beaucoup plus en jeu que le simple trafic. Dans un monde où les robots répondent en premier, la différence entre être crédité et être cannibalisé pourrait faire ou défaire des industries entières.
Déjà, certaines pages générées par l'IA sont créées non pas pour que les gens les lisent, mais pour que d'autres IA les aspirent. C'est une boucle fermée de contenu créé par des machines, pour des machines.
Pour contrer cela, des entreprises comme Taboola misent sur de nouveaux modèles, notamment Deeper Dive, une expérience IA intégrée aux propres sites web des éditeurs. Au lieu de perdre des utilisateurs au profit de robots externes, elle permet aux audiences de poser des questions et d'obtenir des réponses basées sur les reportages existants d'une publication. « Vous obtenez l'interaction avec l'IA », a déclaré Singholda, « mais l'éditeur conserve la relation, le trafic, la confiance. »
Cette confiance peut devenir la monnaie la plus précieuse de toutes. Dans un monde de réponses sans friction, les gens veulent toujours quelque chose de réel, a-t-il soutenu.
« Nous sommes humains », a déclaré Singolda. « Quand cela compte, comme votre argent, votre santé ou votre enfant, nous voulons toujours savoir qui parle. »