待验证50% 置信事实精确时间
默认配置下，许多 CDN/WAF 会把已知 AI 爬虫列入已识别 bot 类别并施加质询（返回 403、429 或 JS 挑战页），而非直接放行。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证WAF 对爬虫流量通常不会直接返回 403，而是投递 JS Challenge、CAPTCHA、Turnstile 等挑战页面，导致客户端持续命中 503 或 429。66% 相似待验证多数AI爬虫和Agent不会主动发送Accept: text/markdown请求头，而是沿用通用请求头或抓取原始HTML59% 相似待验证AI爬虫（如GPTBot、ClaudeBot、Common Crawl）采用轻量级HTTP请求+HTML解析方式，不为每个页面启动完整浏览器执行JavaScript58% 相似待验证为Bot添加Webhook后，Bot详情页会提供请求地址和用于身份校验的密钥，调用方需按官方要求把密钥放入请求头或签名参数。57% 相似待验证AI 搜索爬虫普遍不执行 JavaScript 或只执行非常有限的脚本，它们看到的是服务器返回的初始 HTML；客户端渲染（CSR）的页面正文可能在爬虫眼中是空的。54% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1020799API
curl https://kongchang.com/api/v1/knowledge/claims/1020799MCP
get_claim(id=1020799)