待验证50% 置信概念精确时间
同一份robots.txt可以精细控制允许搜索索引但禁止AI训练，因为不同AI厂商使用多个不同的User-agent分别对应不同用途。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
Naver Blog在谷歌有128条结果，AI引用却为零——robots.txt的真相
rss2026/10/16
涉及实体
相关事实
待验证许多主流AI训练数据集在形成时并未严格遵守robots.txt协议78% 相似已验证许多AI训练数据爬虫倾向于无视robots.txt协议，以极高的并发量快速抓取整站内容，与传统搜索引擎爬虫有本质区别78% 相似待验证AI Agent调用外部工具时，搜索查询参数的细微变化（如从'机器学习最佳实践'改为'机器学习实践指南'）可能产生完全不同的检索结果74% 相似待验证AI智能体执行框架（如LangChain、AutoGPT或OpenAI的Assistants API）默认并不强制检查robots.txt，除非开发者主动实现相关逻辑74% 相似待验证AI爬虫按目的可分为三类：训练爬虫、搜索爬虫、用户触发式抓取器，各自有独立的robots.txt标识74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1048788API
curl https://kongchang.com/api/v1/knowledge/claims/1048788MCP
get_claim(id=1048788)