待验证50% 置信事实精确时间
多数AI爬虫和Agent不会主动发送Accept: text/markdown请求头，而是沿用通用请求头或抓取原始HTML
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/28
首次发现
有效期至：2026/11/26
来源
涉及实体
相关事实
待验证AI爬虫（如GPTBot、ClaudeBot、Common Crawl）采用轻量级HTTP请求+HTML解析方式，不为每个页面启动完整浏览器执行JavaScript71% 相似待验证传统 HTTP 请求式爬虫（如 Python 的 requests 库）只能获取服务器返回的原始 HTML，无法执行 JavaScript，因此看不到动态加载的内容60% 相似待验证爬虫程序通过代码向服务器发起HTTP请求，服务器返回原始内容，但爬虫没有浏览器的渲染能力，拿到的是网页的原始HTML源码60% 相似待验证浏览器中 HTMLElement 继承自 Element，Element 继承自 Node，反爬脚本可通过 Object.getOwnPropertyDescriptor() 或 instanceof 检查识别伪造对象58% 相似待验证对于非简单请求（如包含自定义头或使用PUT/DELETE方法），浏览器会发送预检请求（OPTIONS方法）确认服务器是否允许实际请求57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/812386API
curl https://kongchang.com/api/v1/knowledge/claims/812386MCP
get_claim(id=812386)