AI Agent审计追踪：生产环境可回放监控实战

一个跑在生产环境的客服Agent，某天把同一笔退款操作执行了两次。用户发现了，我没发现——等回过神来，整个下午都耗在了"考古"上：翻遍日志，试图回答一个听着简单的问题：这个Agent到底做了什么，顺序是什么，为什么？

日志里有API调用记录，但没有叙事线——没有Agent的计划、没有工具调用的参数上下文、没有让第四次调用在当时显得合理的中间推理。从零散日志里还原过程，结果只能是一句"大概是循环了，大概无害，但无法完全排除其他可能"。

那一次教训催生了AgentWatch：一个专门盯生产环境Agent的监控工具。核心思路很直接——如果Agent在凌晨三点做错了事，人类多久能知道？知道之后，又要多久才能搞清楚它到底做了什么？

三种没人告警的故障模式

传统APM抓不到Agent的问题，因为它们看起来都不像"报错"。

循环（Loops）：Agent反复重试一个失败的动作，每次都在烧钱，可能还有副作用。没有异常状态码，没有崩溃，只有账单在涨。

漂移（Drift）：模型输出特征在几周内逐渐偏移——换了模型版本、prompt熵变了、或者别的什么——等行为明显不对劲时，没人说得清它是从哪天开始的。

异常（Anomalies）：Agent做了一个单独看合理、但合起来就错的事。双重退款就是典型：单次退款合法，两次就是bug。

这三种故障有一个共同特征：日志里全是"正常"，但结果不对。据OWASP Top 10 for LLM Applications，"过度代理"（Excessive agency）是LLM应用的核心风险之一，而审计日志是主要的检测控制手段。

传统APM（应用性能监控） 是一类用于监测软件系统运行状态与性能指标的工具，典型代表如Datadog、New Relic。它的设计假设是系统行为可以被归纳为有限的错误模式：请求失败、响应超时、资源耗尽、抛异常。这些信号都有明确的判定阈值和状态码，运维人员据此告警。

这套范式对确定性系统非常有效，但对Agent就不够用了。Agent的每一步API调用可能都返回200，延迟正常，token消耗在预算内——换句话说，所有传统指标都是绿的。问题出在序列层面：调用的顺序、重复次数、参数组合是否构成一个合理的整体。这是一个跨请求、跨时间的结构性判断，而传统APM的监控粒度是单次请求，天生看不到这层。所以Agent的故障不是"某个指标越限"，而是"指标全对，结果全错"，需要新的抽象层来捕获。

为Agent做监控，到底在监控什么

AgentWatch盯的就是上面那三类：循环检测、漂移告警、异常标记，外加一个关键能力——可回放的审计追踪。

可回放这件事值得单独说。没有回放的调试，本质上是在靠记忆破案：你知道出了问题，手里只有碎片，因果链永远是猜测。有了回放，那次双重退款从"一下午"变成"十分钟"——直接查"它做了什么"，而不是"我觉得它可能做了什么"。

作者本人是独立开发者，这些数字来自他自己的生产部署：可回放审计追踪让事故根因分析快了4.2倍；生产Agent循环在60秒内被100%捕获，零人工告警；因未检测到的重试循环节省了每年$12k+的token开销。

这几个数字的样本量有限，但指向的问题很真实：当Agent在生产环境里自主行动时，"我们查过日志了"正在变成董事会级别的软回答。

可回放审计追踪（replayable audit trail） 与普通日志的关键区别在于完整性、顺序性和上下文。普通日志是分散的、被动的、面向运维的；审计追踪是结构化的、按因果顺序记录的、面向复盘和合规的。

具体而言，一条可回放的追踪需要记录：Agent的每一步规划意图、每次工具调用的完整参数、工具返回的结果、以及基于结果做出的下一步决策。它复现的是"决策链"，而不仅是"调用清单"。这正是文章强调的关键——没有回放时，根因分析只能靠碎片和记忆推测；有了回放，就能直接回答"它做了什么、按什么顺序、为什么"。

从合规角度看，OWASP把"审计日志"列为检测"过度代理"风险的主要控制手段，原因也在这里：当Agent自主性上升，审计追踪成为唯一能在事后重建问责链条的机制。它不是监控的附属功能，而是Agent可观测性的核心基础设施。

AgentWatch不是什么

这个工具边界很清楚，作者自己先划了线：

它监控，不修复。 循环检测告警不等于你的架构有重试上限。如果没人负责响应，告警就是噪音。

审计追踪只覆盖被插桩的路径。 Agent在你的系统之外做的事，追踪不到。

"异常"是统计学判断，不是道德判断。 上线头几周会有误报，需要调参。异常不等于恶意。

这些限制让AgentWatch的定位很明确：它是侦探工具，不是警察。它能告诉你发生了什么，但不能替你决定怎么办。

下次事故复盘该问的问题

不是"是不是Agent引起的"，而是两个更硬的问题：

如果Agent在凌晨三点做错了事，人类多久能知道？知道之后，多久能搞清楚到底做错了什么？

如果两个问题的诚实答案都是"没人知道"，那审计追踪就是该开始的地方。AgentWatch可以免费试用——接一个Agent进去，看看它第一周的行为在你真正能回放之后是什么样子。

这个问题的紧迫性在于：Agent自主性越高，"可解释"和"可追溯"的缺口就越大。传统可观测性工具是为确定性系统设计的——请求进来、处理、返回、打日志。Agent不一样：它会在中间做规划、调工具、根据结果调整策略，每一步都合理，但序列可能致命。

换句话说，Agent的可观测性需要新的抽象层：不是"哪个请求失败了"，而是"这个决策序列为什么走向了那个结果"。回放能力就是这个抽象层的核心。没有它，每一次Agent事故都是不可复现的——而不可复现的问题，等于没解决。