Claude-User
Anthropic的实时用户代理爬虫，当Claude用户请求浏览网页时代表该用户抓取页面内容
核心事实
时间轴 (近 90 天)
Anthropic称禁止Claude-User会阻止Claude为用户查询检索页面，但OpenAI和Perplexity表示自己的用户触发式抓取器可能不遵守robots.txt
AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
Anthropic 的拆分逻辑与 OpenAI 一致：ClaudeBot 采集可能用于训练的内容，Claude-SearchBot 用于提升搜索结果质量，Claude-User 只在用户主动询问时抓取页面。
robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
全部知识事实 (5)
AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等
65%待验证Anthropic称禁止Claude-User会阻止Claude为用户查询检索页面，但OpenAI和Perplexity表示自己的用户触发式抓取器可能不遵守robots.txt
50%待验证AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
50%待验证Anthropic 的拆分逻辑与 OpenAI 一致：ClaudeBot 采集可能用于训练的内容，Claude-SearchBot 用于提升搜索结果质量，Claude-User 只在用户主动询问时抓取页面。
50%待验证robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
50%