CCBot
Common Crawl项目的网络爬虫，其抓取的数据集被广泛用于训练大语言模型
核心事实
时间轴 (近 90 天)
AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
GPTBot、ClaudeBot、Common Crawl 是已知的AI训练爬虫
GPTBot、CCBot、Amazonbot等新兴AI爬虫涌入网络批量采集训练数据，部分爬虫并不严格遵守robots.txt限制或通过伪装User-Agent绕过过滤规则
robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
CCBot is the crawler for the Common Crawl project
全部知识事实 (6)
AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等
65%部分验证CCBot is the crawler for the Common Crawl project
65%待验证AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
50%待验证GPTBot、ClaudeBot、Common Crawl 是已知的AI训练爬虫
50%待验证GPTBot、CCBot、Amazonbot等新兴AI爬虫涌入网络批量采集训练数据，部分爬虫并不严格遵守robots.txt限制或通过伪装User-Agent绕过过滤规则
50%待验证robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
50%