待验证50% 置信事实精确时间
robots.txt 设计初衷是管理搜索索引而非 AI 训练,且对训练用途缺乏区分能力,屏蔽训练往往意味着同时屏蔽搜索收录。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证robots.txt协议依赖自愿遵守、不具法律约束力,且最初设计时未预见大规模语言模型训练的场景78% 相似待验证传统 robots.txt 语法只描述“能否抓取”,不表达“抓取后能否用于训练”这类下游用途。77% 相似待验证传统机器人控制依赖强化学习或预设程序,需针对每个具体任务单独训练,泛化能力极差70% 相似待验证机器人仿真中的特权状态设计能让训练更容易收敛,但无法反映真实世界中机器人只能依赖摄像头感知环境的处境70% 相似待验证GPTBot、CCBot、Amazonbot等新兴AI爬虫涌入网络批量采集训练数据,部分爬虫并不严格遵守robots.txt限制或通过伪装User-Agent绕过过滤规则69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1118178API
curl https://kongchang.com/api/v1/knowledge/claims/1118178MCP
get_claim(id=1118178)