待验证50% 置信事实精确时间
AI爬虫只需解析网页HTML源代码即可获取全部纯文本内容，字体在此没有防御作用
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
已验证传统爬虫工具如BeautifulSoup只能解析静态HTML，面对JavaScript动态渲染页面往往抓取到空白内容72% 相似待验证多数AI爬虫和Agent实际上并不会主动发送Accept: text/markdown，往往沿用默认Accept头把自己伪装成普通浏览器或直接抓取原始HTML69% 相似待验证seo-agent检测到AI爬虫访问时，动态提供干净的Markdown格式内容而非原始HTML68% 相似待验证Tavily等智能体搜索工具的API直接返回经过提炼的答案文本和来源列表，而非HTML网页68% 相似待验证HTML是超文本标记语言，不是编程语言，不会因为写法不规范而报错67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/911391API
curl https://kongchang.com/api/v1/knowledge/claims/911391MCP
get_claim(id=911391)