Common Crawl

Common Crawl est une organisation à but non lucratif 501(c)(3) qui maintient un dépôt ouvert de données de crawl web. Depuis sa création en 2008 par le scientifique informatique Gil Elbaz, l'organisation a systématiquement parcouru Internet et mis à disposition gratuitement des pétaoctets de HTML brut, de métadonnées et de texte extrait. Les données sont hébergées dans des buckets S3 publics d'Amazon Web Services ; les utilisateurs ne paient que leurs propres coûts de calcul et de stockage. Le corpus de Common Crawl est le plus grand ensemble de données web accessible publiquement, utilisé par les chercheurs, les journalistes, les startups et les grands laboratoires d'IA. Dans les années 2020, il est devenu la principale source d'entraînement pour les grands modèles de langage, y compris GPT-3, GPT-4 et LLaMA. Une enquête de novembre 2025 menée par The Markup et Wired a examiné comment les entreprises d'IA utilisent les données, suscitant des débats sur le consentement et le droit d'auteur.[modifier]

La mission de Common Crawl est de démocratiser l'accès aux données du web en parcourant Internet et en fournissant le contenu résultant gratuitement à quiconque. L'objectif est d'abaisser les barrières à l'analyse de données à l'échelle du web, de favoriser l'innovation et de préserver un historique ouvert du web.[modifier]

Gil Elbaz a commencé à construire le premier robot d'exploration en 2007, animé par la conviction que les données ouvertes du web étaient essentielles pour un Internet sain. Le premier ensemble de données de crawl public, contenant environ 2 milliards de pages, a été publié en 2008. L'infrastructure initiale reposait sur des serveurs donnés et des subventions. En 2012, Common Crawl s'est associé à Amazon Web Services pour héberger les données dans des buckets S3 publics, rendant l'accès gratuit et évolutif. L'ensemble de données News Crawl a été lancé en 2015, fournissant un flux d'articles de presse mis à jour en continu. En 2017, le corpus avait atteint 3,5 milliards de pages, le plus grand ensemble de données web publiquement disponible à l'époque. Le boom de l'IA au début des années 2020 a considérablement augmenté la demande ; Common Crawl est devenu le corpus d'entraînement de facto pour les grands modèles de langage. En réponse aux préoccupations concernant le droit d'auteur et le consentement soulevées par une enquête de 2025, l'organisation a annoncé son intention de développer un système de retrait et un meilleur suivi de la provenance.[modifier]