Web Bot Auth：如何识别AI代理并制定管控策略

AI代理在网络上抓取内容、调用API，却常常隐去身份，这让内容提供方难以区分善意与恶意流量。维基媒体（Wikimedia）近期向AI公司提出要求：让你们的代理可被识别。而一项名为 Web Bot Auth 的IETF草案，正在把这个诉求变成可落地的技术方案——它已获得Cloudflare和AWS的验证。真正的难点不在识别，而在于识别之后，你打算附加怎样的策略。

为什么需要给AI代理发“身份证”

传统爬虫治理依赖User-Agent字符串和IP封禁，但AI代理可以轻易伪装或轮换出口IP，导致这套机制逐渐失效。内容方看到的是大量无法归因的请求，既无法判断对方是谁，也无法就使用条款进行协商。

维基媒体的诉求指向一个更根本的问题：AI训练与内容抓取之间缺少可验证的身份层。Web Bot Auth试图填补这一空白，它让代理在请求中携带密码学签名的凭证，使接收方能够确认“这个请求确实来自某个已声明的代理”。

IETF草案是指由互联网工程任务组（Internet Engineering Task Force）推动的标准化文档，通常以draft-*命名。IETF是全球互联网协议的主要制定机构，HTTP、TCP/IP等核心协议均出自其手。一项草案要成为正式标准（RFC），需经历个人草案、工作组草案、IESG评审等多个阶段，周期可能长达数年。草案阶段意味着技术方案已公开可讨论，但尚未获得广泛部署保证。对Web Bot Auth而言，处于草案阶段既说明其技术思路已相对成熟、进入社区视野，也意味着签名格式、验证流程等细节仍可能调整，企业在接入时需关注版本演进。

Web Bot Auth的技术路径

作为IETF草案，Web Bot Auth的核心思路是给自动化代理建立可验证的身份标识，而非依赖自报家门的字符串。Cloudflare和AWS的验证意味着该方案已经在真实的边缘网络和云基础设施上跑通，具备工程可行性。

据原文信息，这一机制解决的是“识别”环节：接收方能够确认请求方是否为某个已声明的AI代理。这为后续的策略执行提供了信任基础——只有先确认身份，限流、计费、内容分级等规则才有意义。

密码学签名的凭证通常指代理使用私钥对请求的特定部分（如请求目标、时间戳、代理标识）进行数字签名，接收方通过代理公开的公钥验证签名，从而确认请求确实由持有该私钥的一方发出，且内容未被篡改。与User-Agent这种纯自报字段不同，签名凭证无法被第三方随意伪造，除非私钥泄露。这类机制在OAuth、JWT、mTLS等身份体系中已有成熟实践。Web Bot Auth将其裁剪到HTTP请求层，目的是让每次自动化访问都自带可独立验证的身份证明，而不依赖IP或字符串匹配。

识别只是开始，策略才是硬骨头

原文明确指出，“困难的部分是你附加的策略”。这句话点出了Web Bot Auth落地时最容易被低估的环节。技术层面确认了代理身份，接下来的问题全部是治理层面的：

• 放行还是拦截：哪些代理可以访问哪些内容，白名单如何维护？
• 速率与配额：识别出代理后，按请求量限流还是按内容类型区别对待？
• 商业条款：是否要求付费、是否要求署名、是否允许用于训练？
• 责任归属：代理行为越界时，追责对象是代理运营方还是部署方？

这些问题没有统一答案，不同内容方会给出不同策略。Web Bot Auth提供的是策略的执行点，而不是策略本身。

内容分级准入是指内容方按内容类型（如新闻正文、用户评论、图片、付费墙后内容）设定不同的代理访问规则。例如，允许AI代理抓取公开摘要用于索引，但限制其访问全文用于训练；或对高价值内容要求单独授权。这种分级依赖前一步的身份识别：只有确认请求来自哪个已声明的代理，才能将策略精确绑定到该代理而非整个IP段。它把“是否允许抓取”的二值判断，扩展为按内容价值、用途、代理类型多维组合的准入矩阵，也是Web Bot Auth在治理层面最具操作性的落点之一。

对内容方与AI公司的现实影响

对内容方而言，Web Bot Auth意味着从“被动封禁”转向“可协商的准入”。维基媒体的公开表态是一个信号：头部内容平台希望把AI抓取纳入可管理的框架，而不是在无休止的猫鼠游戏中消耗资源。

对AI公司而言，主动接入可验证身份机制，短期看是增加合规成本，长期看则是降低法律与声誉风险。Cloudflare和AWS的验证也说明，主流基础设施方愿意为这套机制背书，接入门槛有望随生态成熟而下降。

尚未解决的问题

Web Bot Auth仍处于IETF草案阶段，标准化进程和采纳范围有待观察。签名凭证的签发与吊销机制、跨平台互认、以及如何防止凭证被滥用，都是需要持续讨论的议题。更重要的是，即便技术就绪，若主要AI公司不接入，识别层依然会出现盲区。

这项工作的价值在于把问题从“能不能识别”推进到“识别之后怎么办”。策略设计才是决定AI代理与开放网络关系走向的关键变量。