Agent重复发邮件/订舱,trace全正常?怎么破

Agent重试与双活会导致重复副作用,而trace缺乏业务去重视角,需幂等键与对账兜底。
文章从一个Reddit讨论出发,描述Agent worker在工具调用中途崩溃重试、或冻结后苏醒导致双活写入的场景,造成重复发邮件、重复订舱等不可撤回操作,而trace里两条执行轨迹都显示正常。作者指出,常规可观测性以执行单元为中心,缺乏跨轨迹的业务副作用去重视角,系统层面的“至少一次”语义与业务层面的“恰好一次”期望之间缺少翻译层。评论区的可行防线包括:将幂等键下沉到工具层、用租约与fencing token防止旧worker写入、以及定期与外部系统做业务对账。文章强调应把“如何发现重复”放进设计评审,trace负责性能排查,对账负责回答是否重复。
一个让开发者失眠的Agent故障场景
最近在Reddit上看到一个讨论,有开发者测试了Agent worker在工具调用中途挂掉的情况,结果发现了一个隐蔽的漏洞:重复操作发生了,但可观测性系统毫无反应。
场景并不复杂,却非常典型。Agent调用工具给客户发邮件,邮件服务商已经接收,但worker在保存任何记录之前就挂掉了。重试机制启动,邮件又发了一次。在trace里看,这就是一次失败的运行加上一次成功的运行,两个独立的执行轨迹,没有任何东西把它们关联起来。
更糟的是worker在半发送状态冻结(比如GC暂停或者机器被挂起),另一个worker接手任务并发送,然后第一个worker苏醒过来又发了一遍。两条trace看起来都正常。

发帖人问了一个很关键的问题:如果你的Agent执行的是不可撤回的操作(发邮件、订舱、下单),你甚至会发现重复吗?还是等到客户回一句“你们发了两次”才知道?
这个问题的棘手之处在于,它同时击穿了分布式系统和Agent架构的两个软肋。
为什么常规可观测性抓不住重复
大多数团队依赖的trace和日志,本质上是以执行单元为中心的。每个run、每个span、每个tool call都有自己的ID和状态,成功就是成功,失败就是失败。这个模型在排查性能问题和错误率时很好用,但它天生缺乏跨轨迹的“副作用去重”视角。
当两次run各自成功执行了同一个业务动作时,trace系统看到的是两个正常事件,而不是一个重复。它没有业务语义,不知道“给张三发邮件”这个动作在全局应该只发生一次。
发帖人描述的两种故障模式——写入前崩溃和冻结后双活——在分布式系统里并不新鲜,幂等键和两阶段提交都是经典解法。但Agent的调度模式让问题更容易被放大:任务重试是默认行为,worker没有强领导选举,冻结的进程苏醒后可能继续执行而不检查任务归属。
换句话说,系统层面的“至少一次”语义,碰上业务层面的“恰好一次”期望,中间缺少一层翻译。
至少一次(at-least-once)语义是分布式消息与任务队列的常见投递保证:系统确保消息或任务最终会被处理,但在网络抖动、worker 崩溃、超时重试等情况下,同一条任务可能被投递多次。与之相对的**恰好一次(exactly-once)**语义,指每条任务被且仅被处理一次,通常在端到端层面难以真正实现,往往需要幂等消费、事务性去重或两阶段提交等机制配合。Agent 架构默认采用重试机制,本质上继承了“至少一次”语义;而发邮件、下单这类业务动作期望的是“恰好一次”。二者之间的落差,正是重复副作用产生的根源。理解这一点,就能明白为什么单纯依赖 trace 中“run 成功/失败”的判断并不足够——系统层面允许多次执行,业务层面却只接受一次。
可行的防线:从幂等到业务对账
发帖人问的是“你抓到过吗,之后改了什么”,评论区的思路大致可以归为几层。
第一层是幂等键下沉到工具层。 给每个业务动作生成确定性ID(比如基于订单号加动作类型),工具在执行前先查这个ID是否已经处理过。发送邮件的API可能不支持幂等,但可以在调用前写一条“意图记录”,成功后标记完成。崩溃恢复后重试时先读这条记录,已存在则跳过。
第二层是租约与fencing token。 针对冻结-worker苏醒的场景,任务被接管时递增一个fencing token,所有下游写入都校验token是否最新。旧worker的写入会被拒绝。这需要工具端配合,但能解决双活问题。
第三层是业务侧对账。 这是最可靠但也最容易被忽略的。定期把“系统认为已发送”的集合和“服务商实际已发送”的集合做比对,发现差异就告警。发帖人场景里,如果每次发送前都记录了业务ID,对账就能发现同一客户同一内容有两条发送记录。
有评论指出,很多团队在早期只做trace不做对账,直到客户投诉才开始补。不可撤回操作的重复成本,远高于多写一张对账表。
**fencing token(隔离令牌)**是一种解决分布式系统中“旧节点苏醒后继续写入”问题的经典机制。其做法是:每当任务被新的 worker 接管时,由协调者(如锁服务或任务调度器)递增一个单调递增的令牌编号,并下发给新 worker。所有下游存储或工具端在接收写入时,都会校验请求携带的令牌是否为自己见过的最大值;如果请求携带的是过期令牌,则直接拒绝。这样,即使冻结的旧 worker 苏醒后试图继续执行,它的写入也会因令牌陈旧而被丢弃,从而避免双活写入。fencing token 的关键前提是下游必须参与校验,因此需要在工具层或存储层做相应改造,不能仅靠 agent 框架单方面保证。
可观测性需要业务语义
这个讨论最有价值的部分,是它暴露了当前Agent可观测性的一个缺口:我们监控的是“执行是否成功”,而不是“业务动作是否只发生一次”。
传统微服务里,幂等和去重往往是业务代码自己保证的,框架不关心。但Agent把工具调用抽象成了可重试的通用动作,重试的粒度变粗,副作用的可见性反而变弱。
如果团队正在构建会发邮件、创建工单、扣库存的Agent,发帖人的问题值得直接放进设计评审:当worker在上一次副作用和下一次重试之间死亡,你的系统依靠什么发现重复? 如果答案只是“trace里看起来没问题”,那可能意味着防线还没建立。
一个务实的起点是:所有不可撤回的工具调用都带业务幂等键,每次执行前后写意图日志,并定期与外部系统对账。trace继续用来排查性能,但对账负责回答“有没有重复”。
发帖人最后那句“还是等客户回你发了两次”,某种程度上就是当前不少Agent系统的真实状态。发现问题的信号来自外部,而不是内部的监控。
**业务对账(reconciliation)**与传统的技术监控不同:技术监控关注“调用是否成功、延迟多少、错误率多少”,而对账关注“业务状态是否一致”。典型做法是维护一份系统侧的业务动作记录(如“已向客户 A 发送邮件,业务键为订单 123”),再定期拉取外部服务商的实际执行记录(如邮件服务商的发送日志),按业务键做集合比对,发现“系统认为发了一次、实际发了两次”或“系统认为发了、实际没发”的差异并告警。对账不依赖 trace 的执行链路,因此能捕获跨 run、跨 worker 的重复副作用。它的代价是需要额外存储和定时任务,但相对于重复扣款、重复发邮件带来的客户投诉与退款成本,通常是更划算的防线。
相关推荐

Gemini 4 Neon发布:前沿智能与高效任务执行的平衡之作
Google DeepMind 发布 Gemini 4 Neon,主打前沿智能与快速端到端任务执行。本文解析其在编程、企业分析、科学推理与网络安全上的基准表现、四档思考等级、定价与安全对齐数据。

AI是全球断网元凶?NSA、FAA接连宕机背后的信任危机
NSA机密网络五天内第四起重大故障,微软称软件bug、FAA否认新AI系统有关、NSA称例行维护。参议员沃纳提出AI加速漏洞发现导致仓促修复的另一种解释,而39%美国人对AI的负面看法让信任危机浮出水面。

机器人开发者自研B-rep内核,测试达3487项
机器人开发者自研B-rep几何内核并编写3,487项测试,探讨机器人领域为何需要专用CAD工具,以及自研内核的机遇与门槛。