待验证50% 置信事实精确时间
robots.txt 的 User-agent 匹配是逐条独立的：爬虫先寻找与自己 UA 名称完全匹配的规则组，没有匹配时才回退到 User-agent: * 通配规则。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证部分AI公司和搜索引擎为搜索索引和AI训练分别提供独立的User-Agent，让站长可以在 robots.txt 中单独屏蔽训练爬虫同时保留搜索收录能力69% 相似待验证各大AI厂商会在官方文档中声明自家爬虫的user-agent名称与IP段，正规做法是将user-agent匹配与来源IP校验结合起来。67% 相似待验证robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池61% 相似待验证Agent能验证代码是否符合它自己的理解，却无法验证它的理解是否符合用户预期60% 相似待验证OpenBot 中多个 bot 之间通过 @mentions 进行任务交接（handoff）59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1016002API
curl https://kongchang.com/api/v1/knowledge/claims/1016002MCP
get_claim(id=1016002)