待验证50% 置信事实精确时间
53个站点在robots.txt里禁止GPTBot，却照常提供服务，说明robots.txt在两个方向上都是建议性的。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
待验证剔除仅因429限流被拒的14个站点后，仍有64个站点（11.7%）在robots.txt允许的情况下被服务器拒绝。71% 相似待验证robots.txt is a 'gentleman's agreement' that relies on the crawler's voluntary compliance and has no enforcement power64% 相似待验证robots.txt 是公开可读的，运营者列出的屏蔽 User-Agent 清单反而会被爬虫用来伪装成其他身份63% 相似待验证即便爬虫声明了身份，高并发的请求频率本身也可能在不违反robots.txt规则的情况下实质性地造成拒绝服务效果62% 相似待验证企业防护措施包括在robots.txt中屏蔽敏感路径、对后台启用IP白名单、使用非标准路径替代默认的/admin入口61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1040870API
curl https://kongchang.com/api/v1/knowledge/claims/1040870MCP
get_claim(id=1040870)