Le propriétaire de TikTok scrape le Web 25 fois plus vite qu’OpenAI

Le bot de ByteDance aurait connu des pics d’activité de scraping au cours des six dernières semaines

Nous pouvons gagner une commission sur les liens sur cette page.
gros plan d’un coin d’un bâtiment en pierre grise avec le logo ByteDance sur le côté droit
Siège social de ByteDance à Pékin, en Chine, le 7 août 2020.
Photo: The Yomiuri Shimbun (Getty Images)

ByteDance développe des modèles d’intelligence artificielle pour concourir en Chine, le bot qu’il utilise pour extraire les données afin d’entraîner ces modèles connaîtrait une activité en plein essor.

Publicité

Le propriétaire de TikTok a lancé son propre scraper WebBytespider, en avril, récupère désormais des données plusieurs fois plus rapidement que les robots d’autres entreprises, a rapporté Fortune, citant des recherches de Kasada, une société de gestion de robots, et de Dark Visitors, un outil de surveillance des robots de scraping. Des entreprises développent des modèles d’IA, comme Google (GOOGLE) et Méta (MÉTA

)

, utiliser des robots de grattage pour collecter des données afin de former et améliorer le grands modèles de langage (LLM) et des modèles multimodaux qui alimentent les services d’IA des entreprises.

Publicité

Bytespider récupère les données Web environ 25 fois plus rapidement que le scraper Web d’OpenAI, GPTbot, a déclaré Sam Crowther, PDG de Kasada, à Fortune. Comparé au ClaudeBot d’Anthropic, Bytespider est 3 000 fois plus rapide.

Comme les robots d’OpenAI et d’Anthropic, Bytespider ignore

instructions de robots.txt, une ligne de code non juridiquement contraignante qui indique aux scrapers web à quelles données ils peuvent ou ne peuvent pas accéder sur un site web, a rapporté Fortune. Selon les données de Kasada, Bytespider a connu des pics d’activité de scraping au cours des six dernières semaines.« C’est comme s’ils essayaient désespérément de rattraper leur retard », a déclaré Crowther à Fortune. ByteDance n’a pas immédiatement répondu à une demande de commentaire.La société basée en Chine a publié son Chatbot basé sur l’IA, Doubao, en août dernier, et il s’avère être un concurrent coriace pour son rival local Baidu

Publicité

(BIDU) Ernie Bot. En mai, ByteDance a lancé une série de LLM Doubao pour les entreprises, qui coûtent moins cher que les modèles des concurrents chinois de l’entreprise

Publicité

. ByteDance prévoit désormais de construire un nouveau modèle d’IA en utilisant des puces du fabricant chinois Huawei, a rapporté Reuters, citant trois personnes anonymes au courant de l’affaire. Cependant, un porte-parole de ByteDance avait précédemment déclaré à Quartz que la société était ne pas développer un nouveau modèle d’IA. L’entreprise a également conçu deux puces d’IA avec Taiwan Semiconductor Manufacturing Company

Publicité

Ce contenu a été traduit automatiquement à partir du texte original. De légères différences résultant de la traduction automatique peuvent apparaître. Pour la version originale, cliquez ici.

Publicité