ClaudeBot
Anthropic用于抓取网页内容训练Claude模型的网络爬虫，通过user-agent标识
核心事实
时间轴 (近 90 天)
Anthropic明确表示屏蔽ClaudeBot意味着网站的未来内容被排除在训练数据集之外，即屏蔽只对将来生效
目前主流 AI 爬虫（GPTBot、ClaudeBot、Google-Extended 等）是否、以及在多大程度上读取 llms.txt，尚无公开的采用率或效果数据。
AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
攻击者大量伪造GPTBot、ClaudeBot、PerplexityBot等AI爬虫的User-Agent，一个IP在单次会话中轮换KimiBot、Qwenbot、Hunyuan等User-Agent，同时请求`.env`文件。
Anthropic 的拆分逻辑与 OpenAI 一致：ClaudeBot 采集可能用于训练的内容，Claude-SearchBot 用于提升搜索结果质量，Claude-User 只在用户主动询问时抓取页面。
很多网站的robots协议会屏蔽ClaudeBot、GPTBot等AI爬虫，导致这些AI引擎无法获取被屏蔽站点内容
GPTBot、ClaudeBot、Common Crawl 是已知的AI训练爬虫
robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
主流AI爬虫包括GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google DeepMind）、Bytespider（字节跳动）
ClaudeBot is Anthropic's crawler
全部知识事实 (11)
AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等
65%部分验证ClaudeBot is Anthropic's crawler
65%待验证主流AI爬虫包括GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google DeepMind）、Bytespider（字节跳动）
60%待验证Anthropic明确表示屏蔽ClaudeBot意味着网站的未来内容被排除在训练数据集之外，即屏蔽只对将来生效
50%待验证目前主流 AI 爬虫（GPTBot、ClaudeBot、Google-Extended 等）是否、以及在多大程度上读取 llms.txt，尚无公开的采用率或效果数据。
50%待验证AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
50%待验证攻击者大量伪造GPTBot、ClaudeBot、PerplexityBot等AI爬虫的User-Agent，一个IP在单次会话中轮换KimiBot、Qwenbot、Hunyuan等User-Agent，同时请求`.env`文件。
50%待验证Anthropic 的拆分逻辑与 OpenAI 一致：ClaudeBot 采集可能用于训练的内容，Claude-SearchBot 用于提升搜索结果质量，Claude-User 只在用户主动询问时抓取页面。
50%待验证很多网站的robots协议会屏蔽ClaudeBot、GPTBot等AI爬虫，导致这些AI引擎无法获取被屏蔽站点内容
50%待验证GPTBot、ClaudeBot、Common Crawl 是已知的AI训练爬虫
50%待验证robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
50%