待验证50% 置信事实精确时间

robots.txt协议最初制定于1994年，是网站告知爬虫哪些页面可被抓取的行业惯例，但在法律上不具有强制效力

1

来源数

50%

置信度

长期有效

时效性

2026/10/1

首次发现

来源

美国法官驳回Chegg、Penske针对谷歌AI概览的反垄断诉讼

涉及实体

robots.txttechnology

相关事实

待验证robots.txt协议在法律上不具备强制约束力72% 相似待验证部分出版商已开始在robots.txt协议中禁止AI爬虫抓取，但该技术规范不具备法律强制力，执行依赖AI公司自愿遵守67% 相似待验证《纽约时报》、路透社等大型媒体在robots.txt中屏蔽AI爬虫，并通过法律诉讼主张内容权益57% 相似待验证X平台在robots.txt中限制AI爬虫的访问，并对未经授权的数据抓取行为采取法律行动57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/966095

API

curl https://kongchang.com/api/v1/knowledge/claims/966095

MCP

get_claim(id=966095)