La prochaine avancée de l'IA ne viendra pas du balayage du web. Les entreprises se précipitent pour débloquer de nouvelles données d'entraînement, allant des données personnelles aux drones et aux archives d'entreprise.
Photo by Sean Gallup/Getty Images
L'ère des données d'entraînement gratuites pour l'IA est terminée. Reddit $RDDT facture des millions pour l'accès à l'API. Le New York Times a intenté un procès. Les éditeurs bloquent les scrapers. Même si les entreprises d'IA pouvaient encore aspirer l'internet public, elles rencontrent un problème plus important : elles ont besoin de types de données entièrement différents pour le prochain saut de capacités.
Les grands modèles de langage ont été construits en extrayant des textes et des images du web. Mais à mesure que les systèmes d'IA dépassent les chatbots, ils ont besoin de données d'entraînement qui n'ont jamais été disponibles publiquement. Des données qui sont verrouillées, éparpillées, ou qui n'existent même pas encore.
Rejoignez plus de 500 000 lecteurs qui commencent leur journée avec Quartz.
En vous abonnant, vous acceptez nos Conditions d'utilisation et notre Politique de confidentialité.
De nouveaux marchés émergent pour débloquer ces sources. En voici trois.
La plupart des gens pensent que les données personnelles sont des numéros de sécurité sociale et des dossiers de santé. Mais presque tout ce que vous faites en ligne génère des données que les plateformes collectent et utilisent — votre historique d'écoute sur Spotify $SPOT, vos habitudes de messagerie, les documents que vous écrivez dans Google $GOOGL Docs, vos conversations avec ChatGPT.
Lorsque vous téléchargez vos données Instagram, par exemple, l'entreprise ne vous remet pas seulement vos photos. Vous obtenez tout ce qu'Instagram a déduit de vous en fonction de votre comportement de navigation : des centaines de points de données allant de labels anodins comme "intéressé par la nature" à des évaluations psychologiques comme si vous souffrez de dépression.
Rien de tout cela n'est publiquement accessible. Tout cela vous appartient légalement.
"Si vous garez votre voiture dans un parking, le parking ne possède pas votre voiture", déclare Anna Kazlauskas, PDG de Vana, une entreprise qui construit des infrastructures pour que les individus contribuent avec leurs données de plateforme à l'entraînement de l'IA. Le même principe s'applique aux données : vous les possédez, même si elles se trouvent sur le serveur de quelqu'un d'autre.
L'ampleur est énorme. Une version de Common Crawl, le jeu de données qui a formé Llama 3 de Meta $META, contient environ 15 000 milliards de mots extraits d'Internet public. Si 100 millions de personnes contribuaient chacune des exports de données de seulement cinq plateformes, cela donnerait 450 000 milliards de tokens, soit 30 fois plus grand que n'importe quel jeu de données existant.
Ce type de données pourrait débloquer une IA personnalisée qui comprend vos goûts musicaux, ou des modèles de santé entraînés sur de vraies données de sommeil et de forme physique, tous impossibles avec le contenu web extrait. Kazlauskas dit que payer les gens pour des données qu'ils sont les seuls à pouvoir fournir pourrait aussi remodeler le débat plus large sur l'IA.
« Beaucoup de peurs autour de l'IA viennent du manque d'attribution et d'économie appropriées », dit Kazlauskas. « Si vous apprenez à une IA comment faire votre travail, vous devriez en réalité posséder ce modèle d'IA. »
Les modèles de texte pourraient s'entraîner sur des données web extraites. Mais la prochaine génération d'IA a besoin d'informations précises et cohérentes sur le monde physique. Les robots naviguant dans les villes, les véhicules autonomes, et la réalité augmentée ont tous besoin de cartes numériques à haute fidélité pour prendre des décisions.
Le problème est que les données aériennes existantes sont fragmentées. Elles proviennent de divers contractants avec différents capteurs à différentes précisions, rendant presque impossible l'entraînement de modèles géospatiaux fiables. Les images satellites, bien que couvrant la majorité de la planète, manquent de résolution. La couche de données dont les entreprises d'IA ont besoin n'existe tout simplement pas encore.
Spexi essaie de le construire en utilisant des travailleurs indépendants et des drones. L'entreprise compte plus de 10 000 pilotes réalisant des missions standardisées à 80 mètres d'altitude. Au cours des 18 derniers mois, ils ont couvert plus de 6 millions d'acres dans 300 villes nord-américaines avec une résolution plus élevée que les satellites ou les images aériennes traditionnelles, déclare Bill Lakeland, PDG de Spexi.
Spexi travaille avec des entreprises comme Niantic pour former de grands modèles géospatiaux pour la réalité augmentée et la robotique. Contrairement aux modèles de langage, ceux-ci nécessitent une mise à jour constante au fur et à mesure que les bâtiments s'élèvent et que les routes changent. C'est une version du même problème qui afflige ChatGPT et d'autres LLM — comment garder les modèles à jour sans les réentraîner à partir de zéro. L'équipe de Lakeland travaille sur des algorithmes pour prédire quand et où des mises à jour sont nécessaires, mais cela reste un défi de recherche non résolu.
L'un des plus grands fabricants de PC au monde collecte des données de télémétrie depuis sept ans. Personne ne les a examinées. Lorsque l'équipe de Sachin Dharmapurikar chez The Modern Data Company les a finalement analysées, ils ont découvert que deux des 70 champs avaient été collectés incorrectement tout le temps.
L'entreprise de Dharmapurikar aide les entreprises à transformer les données héritées en ensembles de données structurés et contextualisés conçus pour des questions commerciales spécifiques plutôt que pour un stockage général. Il y a dix ans, les entreprises ont commencé à tout suivre et à le stocker dans le cloud, supposant que la collecte de données finirait par fournir des insights. Au lieu de cela, cela a créé des paysages de données coûteux, cloisonnés et non gérés.
Lorsque ChatGPT a explosé en popularité, de nombreux dirigeants ont pensé qu'ils avaient enfin trouvé une solution facile. Il suffit d'alimenter toutes ces données stockées dans un LLM et de regarder la magie opérer. Dharmapurikar appelle cela la « malédiction ChatGPT ».
La réalité est plus complexe. Les entreprises ont besoin de quatre choses : une qualité des données à grande échelle, la capacité de retracer l'origine et d'expliquer comment les conclusions ont été atteintes, une gouvernance pour prévenir les hallucinations de l'IA et des métadonnées sémantiques qui contextualisent les données en termes commerciaux. La valeur à vie d'un client de détail est différente de celle d'un client d'entreprise, par exemple. Sans ce contexte, les modèles feront des inférences incorrectes.
Même lorsque les données existent, elles sont souvent piégées. Les équipes de vente, de fabrication et du web collectent les données en silos, et leur transfert entre départements nécessite de la bureaucratie et de la paperasserie. L'IA a besoin d'informations provenant de toute l'organisation, mais la réalité est celle de systèmes fragmentés qui ne communiquent pas entre eux.
Dharmapurikar dit que l'industrie devient enfin réaliste. "Les gens sont maintenant plus calculés, plus rationnels et pragmatiques à propos de ces choses," dit-il. "La réalité s'impose fortement qu'il n'y a pas de solution facile."
