待验证50% 置信事实精确时间

blog.naver.com/robots.txt 明确禁止 GPTBot、OAI-SearchBot、PerplexityBot 和 Google-Extended 等AI相关爬虫，并在注释中声明严格禁止为AI训练和RAG目的抓取。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/16

首次发现

有效期至：2027/1/14

来源

Naver Blog在谷歌有128条结果，AI引用却为零——robots.txt的真相

rss2026/10/16

涉及实体

Naver Blogproduct GPTBotconcept OAI-SearchBotconcept PerplexityBotconcept Google-Extendedconcept

相关事实

待验证部分出版商已开始在robots.txt协议中禁止AI爬虫抓取，但该技术规范不具备法律强制力，执行依赖AI公司自愿遵守73% 相似待验证robots.txt协议是否对AI训练爬虫具有法律约束力存在争议73% 相似待验证X平台在robots.txt中限制AI爬虫的访问，并对未经授权的数据抓取行为采取法律行动68% 相似待验证Amazon的《使用条件》明确禁止使用机器人、爬虫或其他自动化工具访问其服务，违者可能面临账号封禁67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1048782

API

curl https://kongchang.com/api/v1/knowledge/claims/1048782

MCP

get_claim(id=1048782)