Common Crawl

Common Crawlは、ウェブクロールデータを公開リポジトリとして維持している501(c)(3)非営利団体です。コンピュータ科学者のGil Elbazによって2008年に設立されて以来、同組織は体系的にインターネットをクロールし、ペタバイト級の生のHTML、メタデータ、抽出されたテキストを無料で提供してきました。データはAmazon Web ServicesのパブリックS3バケットにホストされており、ユーザーは自身のコンピューティングおよびストレージ費用のみを負担します。Common Crawlのコーパスは、研究者、ジャーナリスト、スタートアップ、および主要なAIラボによって使用される、最も大規模で自由にアクセス可能なウェブデータセットです。2020年代には、GPT-3、GPT-4、LLaMAを含む大規模言語モデルの主要なトレーニングソースとなりました。2025年11月、The MarkupとWiredの共同調査により、AI企業がどのようにデータを使用しているかが調査され、同意と著作権に関する議論が巻き起こりました。[編集]

Common Crawlの使命は、インターネットをクロールし、その結果得られたコンテンツを誰にでも無料で提供することで、ウェブデータへのアクセスを民主化することです。目標は、ウェブスケールデータ分析の障壁を下げ、イノベーションを促進し、ウェブのオープンな歴史的記録を保存することです。[編集]

Gil Elbazは、オープンなウェブデータが健全なインターネットに不可欠であるという信念から、2007年に最初のクローラーの構築を開始しました。約20億ページを含む最初の公開クロールデータセットは2008年にリリースされました。初期のインフラストラクチャは、寄付されたサーバーと助成金に依存していました。2012年、Common CrawlはAmazon Web Servicesと提携し、データをパブリックS3バケットにホストするようになり、アクセスを無料かつスケーラブルにしました。News Crawlデータセットは2015年に開始され、ニュース記事の継続的に更新されるフィードを提供しています。2017年までにコーパスは35億ページに成長し、当時、公開されているウェブデータセットとしては最大のものとなりました。2020年代初頭のAIブームにより需要は劇的に増加し、Common Crawlは大規模言語モデルの事実上のトレーニングコーパスとなりました。2025年の調査によって提起された著作権と同意に関する懸念に対応するため、同組織はオプトアウトシステムとより良い来歴追跡の開発計画を発表しました。[編集]