待验证50% 置信事实精确时间
业界正在讨论扩展robots.txt语义，例如明确区分“搜索抓取”“训练数据抓取”和“代理代为操作”等不同用途，并配合IETF的AIPREF等工作组制定机器可读的偏好表达。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至：2027/1/15
来源
网站对AI Agent关上大门：自主代理遭遇互联网封锁
rss2026/10/17
涉及实体
相关事实
待验证robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池68% 相似待验证部分AI公司和搜索引擎为搜索索引和AI训练分别提供独立的User-Agent，让站长可以在 robots.txt 中单独屏蔽训练爬虫同时保留搜索收录能力68% 相似待验证机器人运动会为不同厂商和研究团队提供了公开、标准化的技术对比平台67% 相似待验证从长期看，当 Agent 从实验走向生产，算力需求会从『接受请求』变成『持续运转』，这是与聊天机器人完全不同的负载模式。66% 相似待验证AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1053191API
curl https://kongchang.com/api/v1/knowledge/claims/1053191MCP
get_claim(id=1053191)