User-Agent
HTTP请求头中的一个字段，用于标识发起请求的浏览器内核、操作系统和版本等信息，服务器据此区分正常浏览器和自动化脚本
时间轴 (近 90 天)
向《华尔街日报》发送请求返回403，仅将User-Agent换成Chrome浏览器字符串后同一请求变为401。
User-Agent是HTTP请求头中的一个字段，由客户端主动声明自己的软件身份，且完全由客户端控制，可被任意伪造。
仅轮换代理IP而保持相同User-Agent和头部集合会在WAF侧形成稳定指纹，一旦该指纹被标记，所有使用它的IP都会被连坐。
UA 字符串可以被任意伪造，仅凭日志里的 GPTBot 字样不能确认对方身份；主流厂商都公布了官方 IP 段供验证。
User-Agent是HTTP请求头中的一个字段，格式类似'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...'，用来告诉服务器发起请求的浏览器内核、操作系统、版本等信息。
直接用requests请求网站往往拿不到想要的内容，因为服务器会判断请求来自真人浏览器还是自动化程序，解决办法是添加headers把浏览器的User-Agent以字典形式传入请求。
当 Vary 头引用像 User-Agent 这类高基数字段时，缓存有效性可能被彻底摧毁，缓存命中率趋近于零
User-Agent标识在HTTP请求头中明确声明请求来源，使服务端能够区分AI代理与普通浏览器流量，实现针对性流量管理或封禁
服务端可以检测AI爬虫的User-Agent并主动返回优化过的Markdown内容而非完整HTML
全部知识事实 (9)
User-Agent是HTTP请求头中的一个字段，由客户端主动声明自己的软件身份，且完全由客户端控制，可被任意伪造。
50%待验证仅轮换代理IP而保持相同User-Agent和头部集合会在WAF侧形成稳定指纹，一旦该指纹被标记，所有使用它的IP都会被连坐。
50%待验证UA 字符串可以被任意伪造，仅凭日志里的 GPTBot 字样不能确认对方身份；主流厂商都公布了官方 IP 段供验证。
50%待验证User-Agent是HTTP请求头中的一个字段，格式类似'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...'，用来告诉服务器发起请求的浏览器内核、操作系统、版本等信息。
50%待验证直接用requests请求网站往往拿不到想要的内容，因为服务器会判断请求来自真人浏览器还是自动化程序，解决办法是添加headers把浏览器的User-Agent以字典形式传入请求。
50%待验证当 Vary 头引用像 User-Agent 这类高基数字段时，缓存有效性可能被彻底摧毁，缓存命中率趋近于零
50%待验证User-Agent标识在HTTP请求头中明确声明请求来源，使服务端能够区分AI代理与普通浏览器流量，实现针对性流量管理或封禁
50%待验证服务端可以检测AI爬虫的User-Agent并主动返回优化过的Markdown内容而非完整HTML
50%待验证向《华尔街日报》发送请求返回403，仅将User-Agent换成Chrome浏览器字符串后同一请求变为401。
50%