[控场AI]
· 4 分钟阅读· 2,220 字

LangChain智能体签名HTTP工具:让网站识别AI代理与爬虫

LangChain智能体签名HTTP工具:让网站识别AI代理与爬虫

AIDR用RFC 9421与Ed25519为AI代理请求签名,使网站能离线区分合法代理与爬虫。

AIDR 是一个开源项目,试图解决 AI 代理请求与爬虫难以区分的问题:两者都来自云 IP、User-Agent 可随意伪造,网站缺乏可校验依据。其方案基于 RFC 9421 HTTP 消息签名标准,用 Ed25519 对每个请求签名,并让代理携带绑定组织身份的短期凭证,网站可离线验证请求来源。在 LangChain 中集成只需替换为签名 HTTP 工具,且工具仅允许访问预设目标源,以降低提示注入导致凭证泄露的风险。局限在于方案只对主动启用验证的站点有效,且需要注册组织账户,价值取决于生态采纳程度。开发者还提供了不发送数据的浏览器内演示。

AI代理在访问网站时,发出的请求与爬虫几乎无法区分:相同的云IP、可随意伪造的User-Agent,网站管理员既想放行有价值的AI代理,又担心恶意爬虫混入。开源项目AIDR试图用密码学签名解决这一问题——让每个AI代理对HTTP请求签名,并携带可验证的组织凭证,从而让网站能够明确区分“合法代理”与“爬虫”。

Reddit讨论帖截图

问题:代理请求为何与爬虫难以区分

开发者指出,智能体发出的HTTP请求在外观上与爬虫完全一致:都来自云服务商IP段,User-Agent字段任何人都能随手填写。即使网站希望允许某些AI代理访问,也没有任何可校验的依据。这导致两种结果:要么网站一刀切封锁所有自动化流量,误伤合法代理;要么放任爬虫进入,带来安全与成本风险。

AIDR的思路是给代理请求加上可离线验证的签名,使网站无需依赖第三方实时服务,即可在每个请求上确认“这是一个已注册组织的代理”。

方案:RFC 9421签名与Ed25519凭证

AIDR的实现基于RFC 9421 HTTP消息签名标准,使用Ed25519算法对每个请求进行签名。代理同时携带一个短期凭证,将其密钥与经过验证的组织身份绑定。这样一来,网站收到的每个请求都附带可验证的身份信息,而非仅凭User-Agent猜测。

在LangChain中集成只需替换工具:

from aidr_agent import Agent
from aidr_agent.langchain import aidr_http_tools

agent = Agent.load_or_enroll("research-01", audiences=["https://shop.example"])
tools = aidr_http_tools(agent)  # http_get, http_post, signed

这些工具只允许访问预先列出的目标源。这一点至关重要:如果让LLM自行选择URL,一旦遭遇提示注入攻击,代理可能将身份凭证出示给不该访问的站点。通过白名单限制目标域,可以降低此类风险。

RFC 9421 是 IETF 于 2024 年发布的 HTTP 消息签名标准,定义了一套通用的机制:发送方选取请求中的若干组件(如 @method、@target-uri、content-digest 等)按固定格式拼接成签名基串,再对该基串签名,并将签名与所用组件列表放入 Signature 与 Signature-Input 头中。接收方用同样的规则重建基串并验签,因此签名覆盖了请求的关键语义,任何篡改都会导致验签失败。与早期的 HTTP 签名草案或私有方案相比,RFC 9421 不绑定特定算法,签名参数可协商,且支持密钥轮换与过期,是当前让“请求级可验证身份”走向标准化的基础。

Ed25519 是一种基于扭曲爱德华兹曲线的数字签名算法(定义于 RFC 8032),私钥和公钥各 32 字节,签名 64 字节,比同等安全强度的 RSA 短得多,适合放进 HTTP 头。它的签名与验签速度都很快,且实现不易出现侧信道错误,因而被广泛用于 SSH 密钥、Sigstore 与各类现代凭证体系。对 AIDR 这类需要逐请求签名的场景,Ed25519 的低开销和短签名长度是关键优势;其公钥可通过组织凭证发布,网站缓存后即可离线验签,无需每次请求都回源查询。

Cloudflare Web Bot Auth 是 Cloudflare 推动的一套自动化流量身份验证机制,允许合法的机器人在请求中携带基于 HTTP 消息签名的身份凭证,Cloudflare 边缘节点验签后可将该流量标记为已认证的机器人,而不是直接按爬虫处置。它依赖公开的密钥目录:机器人运营方在约定位置发布公钥集合,验证方据此获取并缓存公钥。AIDR 与这一机制对接,意味着其签名不仅可以由自建中间件验证,也可能在 CDN 边缘层被识别,从而扩大方案的适用范围。不过,密钥目录的注册与维护仍由运营方承担,这也是“并非零配置”的具体体现之一。

局限:仅对已启用验证的站点有效

AIDR并非万能钥匙。它无法帮助代理绕过不验证签名的网站。只有当目标站点主动启用验证(例如部署AIDR中间件,或在Cloudflare Web Bot Auth中注册密钥目录)时,签名才起作用。此外,注册组织账户是必要步骤,因此并非零配置方案。

这一限制意味着AIDR的价值取决于生态 adoption:只有足够多的网站愿意验证签名,代理身份认证才能形成正向循环。

演示与反思:可离线验证的请求级身份

开发者提供了浏览器内演示,可观察签名握手过程,且不会向任何服务器发送数据。在一篇详细文章中,作者还分享了开发过程中遇到并修复的三个bug,强调“答案必须是可离线验证的、逐请求的”。

对于希望管理AI代理访问权限的网站运营者,AIDR提供了一种基于开放标准的思路;对于代理开发者,它则提出了一个值得思考的问题:你今天如何向网站标识你的代理身份?

(本文基于Reddit帖子及项目公开资料,SDK采用Apache-2.0许可证。)

#LangChain#AI代理#HTTP签名#RFC 9421#爬虫识别#Ed25519#开源工具
分享:

相关推荐