待验证50% 置信事实精确时间
AI训练爬虫普遍不遵守robots.txt协议，也不对请求频率进行自我节制，抓取行为接近DDoS攻击。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证AI训练爬虫的运营方与网站之间不存在互惠关系，因为它们不依赖搜索结果导流，因此不受robots.txt背后的行业默契约束。79% 相似待验证AI爬虫的行为本质上是应用层(L7)的资源耗尽，且由于其请求模式与合法用户相似度更高，比传统DDoS更难通过流量特征识别和缓解71% 相似待验证作者建议只在有明确理由时才屏蔽 AI 爬虫，并列出三种常见情形：不希望内容被用于模型训练、爬虫流量造成服务器负担或带宽成本、内容属于付费或授权内容。67% 相似待验证面对分布式AI爬虫，速率限制与IP封禁的防御效果大打折扣65% 相似待验证由于恶意载荷看起来与合法任务指令毫无二致，传统基于签名检测或流量分析的蠕虫防御手段对AI智能体蠕虫几乎完全失效63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1019858API
curl https://kongchang.com/api/v1/knowledge/claims/1019858MCP
get_claim(id=1019858)