待验证50% 置信事实精确时间
GPTBot被服务器拒绝率为14.4%，其中11.1%发生在robots.txt允许的情况下；ClaudeBot被拒14.8%，10.9%在允许之下；PerplexityBot被拒11.3%，8.4%在允许之下；OAI-SearchBot被拒9.8%，8.0%在允许之下。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
待验证82.7%的可达站点有robots.txt；25.1%封锁了至少一个搜索或答案爬虫，10.2%封锁了大多数；26.0%封锁了至少一个训练爬虫，但只有2.6%只封训练爬虫保持搜索和答案爬虫开放；2.5%带有Content-Signal指令，62.4%列出了sitemap。71% 相似待验证综合403、404和速率限制（429）响应，目前至少有21.5%的AI机器人请求以客户端错误告终。59% 相似待验证在96%的关卡里，GPT-6找到答案所需的尝试次数比普通人还少56% 相似待验证SparkToro和Gumshoe.ai让600名志愿者用12个提示词在ChatGPT、Claude和Google AI上运行了近3000次，结果显示两次得到相同品牌列表的概率不到1/100，得到相同排序的概率接近1/1000。56% 相似待验证大多数AI编程助手目前仅提供聚合百分比，缺乏逐次请求的消耗记录56% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1040869API
curl https://kongchang.com/api/v1/knowledge/claims/1040869MCP
get_claim(id=1040869)