Unverified50% confidenceOpinionExact time
多数AI爬虫和Agent实际上并不会主动发送Accept: text/markdown，往往沿用默认Accept头把自己伪装成普通浏览器或直接抓取原始HTML
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
8/28/2026
First Seen
Valid until: 11/26/2026
Sources
Related Entities
Related Claims
Unverifiedseo-agent检测到AI爬虫访问时，动态提供干净的Markdown格式内容而非原始HTML72% similarUnverified传统爬虫工具如BeautifulSoup只能解析静态HTML，面对JavaScript动态渲染页面往往抓取到空白内容65% similarUnverified浏览器默认样式表（User Agent Stylesheet）导致不同浏览器对相同HTML元素的渲染差异65% similarUnverified基于Accept头的方案：当请求头包含Accept: text/markdown时服务器返回Markdown版本，收到Accept: text/html时返回完整HTML页面，同一URL根据请求方返回不同表现形式65% similarUnverified只需给任意元素添加HTML的popover属性，它就会被浏览器用户代理样式隐藏（包含display: none）64% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/813682API
curl https://kongchang.com/api/v1/knowledge/claims/813682MCP
get_claim(id=813682)