待验证50% 置信事实精确时间

2024年的一项研究发现，在已知的AI训练爬虫中，超过35%的爬虫完全无视robots.txt的限制指令

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/8/10

首次发现

有效期至：2026/11/8

来源

AI爬虫压垮Gentoo Bugzilla：开源基础设施面临数据掠夺危机

相关事实

待验证许多AI公司的爬虫被发现忽略robots.txt的限制指令，或使用未声明身份的爬虫绕过规则80% 相似待验证许多AI训练数据爬虫倾向于无视robots.txt协议，以极高的并发量快速抓取整站内容，与传统搜索引擎爬虫有本质区别67% 相似待验证AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等66% 相似待验证2023年MIT的一项研究表明非专业人员借助AI聊天机器人可在数小时内获得此前需专业训练才能掌握的病原体相关知识62% 相似待验证AI爬虫通过轮换IP和伪造User-Agent来规避封锁，无视robots.txt规则和速率限制59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/725376

API

curl https://kongchang.com/api/v1/knowledge/claims/725376

MCP

get_claim(id=725376)