待验证50% 置信概念精确时间
如果屏蔽检索型AI爬虫（如OAI-SearchBot、ChatGPT-User），内容将不会被AI回答引用；但如果只屏蔽训练型爬虫（如GPTBot），内容仍可能被引用。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
Naver Blog在谷歌有128条结果，AI引用却为零——robots.txt的真相
rss2026/10/16
涉及实体
相关事实
待验证许多AI公司的爬虫被发现忽略robots.txt的限制指令，或使用未声明身份的爬虫绕过规则71% 相似待验证很多网站的robots协议会屏蔽ClaudeBot、GPTBot等AI爬虫，导致这些AI引擎无法获取被屏蔽站点内容71% 相似已验证许多AI训练数据爬虫倾向于无视robots.txt协议，以极高的并发量快速抓取整站内容，与传统搜索引擎爬虫有本质区别70% 相似待验证同一份robots.txt可以精细控制允许搜索索引但禁止AI训练，因为不同AI厂商使用多个不同的User-agent分别对应不同用途。70% 相似待验证AI爬虫按目的可分为三类：训练爬虫、搜索爬虫、用户触发式抓取器，各自有独立的robots.txt标识66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1048789API
curl https://kongchang.com/api/v1/knowledge/claims/1048789MCP
get_claim(id=1048789)