待验证60% 置信事实精确时间
许多AI公司的爬虫被发现忽略robots.txt的限制指令，或使用未声明身份的爬虫绕过规则
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/8/10
首次发现
有效期至：2026/11/8
来源
相关事实
待验证2024年的一项研究发现，在已知的AI训练爬虫中，超过35%的爬虫完全无视robots.txt的限制指令80% 相似待验证AI爬虫按目的可分为三类：训练爬虫、搜索爬虫、用户触发式抓取器，各自有独立的robots.txt标识76% 相似待验证部分厂商文档指出用户触发的 AI agent 未必像传统爬虫那样遵循 robots.txt，因为请求由真人发起。74% 相似待验证AI爬虫通过轮换IP和伪造User-Agent来规避封锁，无视robots.txt规则和速率限制74% 相似待验证很多网站的robots协议会屏蔽ClaudeBot、GPTBot等AI爬虫，导致这些AI引擎无法获取被屏蔽站点内容73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/728310API
curl https://kongchang.com/api/v1/knowledge/claims/728310MCP
get_claim(id=728310)