待验证50% 置信事实精确时间
AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池78% 相似待验证部分AI公司和搜索引擎为搜索索引和AI训练分别提供独立的User-Agent，让站长可以在 robots.txt 中单独屏蔽训练爬虫同时保留搜索收录能力77% 相似待验证攻击者大量伪造GPTBot、ClaudeBot、PerplexityBot等AI爬虫的User-Agent，一个IP在单次会话中轮换KimiBot、Qwenbot、Hunyuan等User-Agent，同时请求`.env`文件。73% 相似待验证GPTBot、ClaudeBot、Common Crawl 是已知的AI训练爬虫71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1020795API
curl https://kongchang.com/api/v1/knowledge/claims/1020795MCP
get_claim(id=1020795)