待验证50% 置信事实精确时间
传统 robots.txt 语法只描述“能否抓取”,不表达“抓取后能否用于训练”这类下游用途。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证robots.txt协议依赖自愿遵守、不具法律约束力,且最初设计时未预见大规模语言模型训练的场景71% 相似待验证机器人仿真中的特权状态设计能让训练更容易收敛,但无法反映真实世界中机器人只能依赖摄像头感知环境的处境65% 相似待验证GPTBot、CCBot、Amazonbot等新兴AI爬虫涌入网络批量采集训练数据,部分爬虫并不严格遵守robots.txt限制或通过伪装User-Agent绕过过滤规则62% 相似待验证传统机器人控制依赖强化学习或预设程序,需针对每个具体任务单独训练,泛化能力极差62% 相似待验证仅用人类演示训练出的通用策略,就能够在真实机器人上零样本完成移动任务。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1117558API
curl https://kongchang.com/api/v1/knowledge/claims/1117558MCP
get_claim(id=1117558)