待验证50% 置信事实精确时间
剔除仅因429限流被拒的14个站点后，仍有64个站点（11.7%）在robots.txt允许的情况下被服务器拒绝。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
待验证53个站点在robots.txt里禁止GPTBot，却照常提供服务，说明robots.txt在两个方向上都是建议性的。71% 相似待验证即便爬虫声明了身份，高并发的请求频率本身也可能在不违反robots.txt规则的情况下实质性地造成拒绝服务效果60% 相似待验证在519次带护栏且有最终回答的运行中，有45次代理告诉用户邮件或文件共享已发出但实际上被护栏拦截；无护栏时这一数字是440次运行中出现1次。57% 相似待验证论文对两家支付处理商公开列为其客户、共 555 个商家站点做了访问普查，发现其中 105 个站点（18.9%）的首页对声明式 bot 和声明式无头浏览器两种配置均不可读。57% 相似待验证Anthropic警告称屏蔽其IP地址可能导致它无法读取robots.txt，因此仅靠IP封锁可能无法登记为持久的退出选择，最佳实践是IP拦截加robots.txt声明双管齐下57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1040868API
curl https://kongchang.com/api/v1/knowledge/claims/1040868MCP
get_claim(id=1040868)