LangChain智能体签名HTTP工具:让网站识别AI代理与爬虫

AIDR用RFC 9421与Ed25519为AI代理请求签名,使网站能离线区分合法代理与爬虫。
AIDR 是一个开源项目,试图解决 AI 代理请求与爬虫难以区分的问题:两者都来自云 IP、User-Agent 可随意伪造,网站缺乏可校验依据。其方案基于 RFC 9421 HTTP 消息签名标准,用 Ed25519 对每个请求签名,并让代理携带绑定组织身份的短期凭证,网站可离线验证请求来源。在 LangChain 中集成只需替换为签名 HTTP 工具,且工具仅允许访问预设目标源,以降低提示注入导致凭证泄露的风险。局限在于方案只对主动启用验证的站点有效,且需要注册组织账户,价值取决于生态采纳程度。开发者还提供了不发送数据的浏览器内演示。
AI代理在访问网站时,发出的请求与爬虫几乎无法区分:相同的云IP、可随意伪造的User-Agent,网站管理员既想放行有价值的AI代理,又担心恶意爬虫混入。开源项目AIDR试图用密码学签名解决这一问题——让每个AI代理对HTTP请求签名,并携带可验证的组织凭证,从而让网站能够明确区分“合法代理”与“爬虫”。

问题:代理请求为何与爬虫难以区分
开发者指出,智能体发出的HTTP请求在外观上与爬虫完全一致:都来自云服务商IP段,User-Agent字段任何人都能随手填写。即使网站希望允许某些AI代理访问,也没有任何可校验的依据。这导致两种结果:要么网站一刀切封锁所有自动化流量,误伤合法代理;要么放任爬虫进入,带来安全与成本风险。
AIDR的思路是给代理请求加上可离线验证的签名,使网站无需依赖第三方实时服务,即可在每个请求上确认“这是一个已注册组织的代理”。
方案:RFC 9421签名与Ed25519凭证
AIDR的实现基于RFC 9421 HTTP消息签名标准,使用Ed25519算法对每个请求进行签名。代理同时携带一个短期凭证,将其密钥与经过验证的组织身份绑定。这样一来,网站收到的每个请求都附带可验证的身份信息,而非仅凭User-Agent猜测。
在LangChain中集成只需替换工具:
from aidr_agent import Agent
from aidr_agent.langchain import aidr_http_tools
agent = Agent.load_or_enroll("research-01", audiences=["https://shop.example"])
tools = aidr_http_tools(agent) # http_get, http_post, signed
这些工具只允许访问预先列出的目标源。这一点至关重要:如果让LLM自行选择URL,一旦遭遇提示注入攻击,代理可能将身份凭证出示给不该访问的站点。通过白名单限制目标域,可以降低此类风险。
RFC 9421 是 IETF 于 2024 年发布的 HTTP 消息签名标准,定义了一套通用的机制:发送方选取请求中的若干组件(如 @method、@target-uri、content-digest 等)按固定格式拼接成签名基串,再对该基串签名,并将签名与所用组件列表放入 Signature 与 Signature-Input 头中。接收方用同样的规则重建基串并验签,因此签名覆盖了请求的关键语义,任何篡改都会导致验签失败。与早期的 HTTP 签名草案或私有方案相比,RFC 9421 不绑定特定算法,签名参数可协商,且支持密钥轮换与过期,是当前让“请求级可验证身份”走向标准化的基础。
Ed25519 是一种基于扭曲爱德华兹曲线的数字签名算法(定义于 RFC 8032),私钥和公钥各 32 字节,签名 64 字节,比同等安全强度的 RSA 短得多,适合放进 HTTP 头。它的签名与验签速度都很快,且实现不易出现侧信道错误,因而被广泛用于 SSH 密钥、Sigstore 与各类现代凭证体系。对 AIDR 这类需要逐请求签名的场景,Ed25519 的低开销和短签名长度是关键优势;其公钥可通过组织凭证发布,网站缓存后即可离线验签,无需每次请求都回源查询。
Cloudflare Web Bot Auth 是 Cloudflare 推动的一套自动化流量身份验证机制,允许合法的机器人在请求中携带基于 HTTP 消息签名的身份凭证,Cloudflare 边缘节点验签后可将该流量标记为已认证的机器人,而不是直接按爬虫处置。它依赖公开的密钥目录:机器人运营方在约定位置发布公钥集合,验证方据此获取并缓存公钥。AIDR 与这一机制对接,意味着其签名不仅可以由自建中间件验证,也可能在 CDN 边缘层被识别,从而扩大方案的适用范围。不过,密钥目录的注册与维护仍由运营方承担,这也是“并非零配置”的具体体现之一。
局限:仅对已启用验证的站点有效
AIDR并非万能钥匙。它无法帮助代理绕过不验证签名的网站。只有当目标站点主动启用验证(例如部署AIDR中间件,或在Cloudflare Web Bot Auth中注册密钥目录)时,签名才起作用。此外,注册组织账户是必要步骤,因此并非零配置方案。
这一限制意味着AIDR的价值取决于生态 adoption:只有足够多的网站愿意验证签名,代理身份认证才能形成正向循环。
演示与反思:可离线验证的请求级身份
开发者提供了浏览器内演示,可观察签名握手过程,且不会向任何服务器发送数据。在一篇详细文章中,作者还分享了开发过程中遇到并修复的三个bug,强调“答案必须是可离线验证的、逐请求的”。
对于希望管理AI代理访问权限的网站运营者,AIDR提供了一种基于开放标准的思路;对于代理开发者,它则提出了一个值得思考的问题:你今天如何向网站标识你的代理身份?
(本文基于Reddit帖子及项目公开资料,SDK采用Apache-2.0许可证。)
相关推荐

AI时代程序员转型:旧技术该学多深?
AI冲击下程序员该如何转型?旧技术还要学多深?结合B站UP主分享,拆解拥抱AI的层次、学习方式从过程驱动到项目驱动的转变,以及技术壁垒降低对初级中级岗位的影响。

OpenAI发布GPT-6.2双模型Astra与Sol,API降价20%
OpenAI发布GPT-6.2 Astra与Sol两款模型,Astra的API价格下调20%至每百万token 8/40美元,并在Artificial Analysis Intelligence Index上排名第二。本文分析双模型策略、降价影响与开发者选型建议。

Perplexity Computer上线Multiagent:16个AI智能体交叉校验
Perplexity 为 Computer 推出 Multiagent 模式,主导智能体可调度最多 16 个基于 Claude、GPT、Gemini 的子智能体,共享发现并交叉校验工作成果,努力程度高于 Ultra 档位。