待验证50% 置信事实精确时间
noindex 与 robots.txt 的 Disallow 不同：前者允许抓取但拒绝收录，后者阻止抓取。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证robots.txt 只约束守规矩的爬虫，不构成访问控制；真正的拦截往往来自 CDN 或 WAF 的机器人管理规则。69% 相似待验证部分出版商已开始在robots.txt协议中禁止AI爬虫抓取，但该技术规范不具备法律强制力，执行依赖AI公司自愿遵守65% 相似待验证X平台在robots.txt中限制AI爬虫的访问，并对未经授权的数据抓取行为采取法律行动63% 相似待验证robots.txt协议在法律上不具备强制约束力62% 相似待验证blog.naver.com/robots.txt 明确禁止 GPTBot、OAI-SearchBot、PerplexityBot 和 Google-Extended 等AI相关爬虫，并在注释中声明严格禁止为AI训练和RAG目的抓取。59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1052403API
curl https://kongchang.com/api/v1/knowledge/claims/1052403MCP
get_claim(id=1052403)