待验证50% 置信事实精确时间
GPTBot、ClaudeBot、PerplexityBot等主流AI爬虫目前基本不执行JavaScript，因此对于JavaScript依赖渲染的站点，即使robots.txt和WAF都放行，它们拿到的内容仍为空。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证ChatGPT、Perplexity等AI系统的抓取器大多不执行JavaScript，若页面内容依赖JS渲染，它们可能看到空白；Googlebot虽然能渲染JS，但存在延迟和配额限制。77% 相似待验证AI爬虫（如GPTBot、ClaudeBot、Common Crawl）采用轻量级HTTP请求+HTML解析方式，不为每个页面启动完整浏览器执行JavaScript67% 相似待验证爬虫获取到的只是未经渲染的HTML源代码，因为爬虫没有浏览器的渲染能力66% 相似待验证AI爬虫只下载HTML，不执行JavaScript，因此依赖浏览器端JavaScript的网站分析工具无法统计AI爬虫的访问。64% 相似待验证无头Chrome自Chrome 59版本（2017）起原生支持，可配合Puppeteer或Playwright等控制库执行JavaScript、管理Session并模拟浏览器指纹63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1040875API
curl https://kongchang.com/api/v1/knowledge/claims/1040875MCP
get_claim(id=1040875)