待验证50% 置信观点精确时间
AI训练爬虫的运营方与网站之间不存在互惠关系，因为它们不依赖搜索结果导流，因此不受robots.txt背后的行业默契约束。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证AI训练爬虫普遍不遵守robots.txt协议，也不对请求频率进行自我节制，抓取行为接近DDoS攻击。79% 相似待验证大多数AI Agent从底层框架或默认工具链中直接继承的网页搜索能力并不足够优秀70% 相似待验证不应给AI智能体超出任务所需的访问权限，负责预约健身课的智能体不应拥有触及后台数据库的能力67% 相似待验证安全边界不会因为操作者是 AI 而自动收紧，它只会因为流程没有区分‘人’和‘代理’而变得更松66% 相似待验证作者建议只在有明确理由时才屏蔽 AI 爬虫，并列出三种常见情形：不希望内容被用于模型训练、爬虫流量造成服务器负担或带宽成本、内容属于付费或授权内容。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1019859API
curl https://kongchang.com/api/v1/knowledge/claims/1019859MCP
get_claim(id=1019859)