多步AI Agent护栏实践：事实变化检测将误报率降至0%

问题：每一步都对，序列却错了

AI Agent 的可靠性难题往往不在单次工具调用，而在多步序列。每一步单独看都合规、合理，但几步组合起来就偏离了用户意图，甚至触发不可逆操作。一位开发者在 Reddit 的 r/AI_Agents 社区分享了他几周前提出的问题：如何阻止 Agent 犯这种"多步错误"？现在他给出了第一版可运行方案。

这个思路的关键洞察是：不可逆动作执行前，重新读取它所依赖的事实，如果相关事实在审批之后发生了变化，就拦截。听起来简单，但魔鬼在"相关"二字——如果把任何变化都当作拦截信号，误报会淹没系统。

护栏机制：只检查动作真正依赖的事实

该护栏的核心逻辑是"执行前事实复核"。当一个不可逆动作即将运行时，系统会重新读取该动作所依赖的事实集合，与审批时的快照做对比。如果某个相关事实发生了变化，动作被阻断。

难点在于如何定义"相关"。作者在 23 个测试场景、两个工具的基准上对比了策略差异：

• 全量变化即拦截：只要任何事实发生变化就阻止，误报率高达 50%。
• 依赖事实检查 + 字段边界：只检查动作真正依赖的事实，并为允许在限定范围内变动的字段设置边界，误报率降到 17%。
• 加入保守归一化：在不降低捕获率的前提下，误报率进一步降至 0%。

这个递进过程说明了一个重要事实：护栏的精度不取决于检测能力，而取决于"什么算变化"的定义粒度。粗粒度的全量比对虽然安全，但在真实系统中几乎不可用；细粒度的依赖追踪才是可行路径。

系统运行在本地模型 qwen2.5-7b 上，这意味着方案不依赖云端 API，部署成本和数据隐私顾虑都较低。

事实与事实快照

在护栏语境中，“事实”指动作执行所依赖的、可从系统状态中读取的原子性信息，例如账户余额、订单状态、权限标记或文件版本号。事实快照则是在审批时刻对这些事实的一次性只读记录。执行前复核时，系统将当前事实与快照逐项比对，而非重新评估整个系统状态。这种设计将拦截逻辑限定在动作声明过的依赖集合内，避免无关状态波动触发误报，也使“相关变化”的定义从模糊语义变为可枚举的字段清单。

保守归一化

归一化指在比对前对事实值做规范化处理，例如去除时间戳精度差异、统一大小写或忽略已知无害的格式变动。保守归一化强调只做不会掩盖真实变化的规范化，其目标是消除“表面变化”带来的误报，同时不降低对实质变化的捕获率。作者将误报率从 17% 降至 0% 正是依靠这一步，说明误报往往源于比对粒度过细，而非检测逻辑本身有缺陷。

基准设计：捕获率与误报率必须分开报告

作者特别强调，基准同时报告两个独立数字：捕获率（catch rate）和误报率（false-alarm rate）。这个设计选择值得注意——只报告捕获率的护栏评估是不完整的，因为一个"什么都拦"的策略捕获率是 100%，但毫无实用价值。

两个指标分开报告，才能真实反映护栏在"拦住该拦的"和"放行该放的"之间的平衡能力。从 50% 到 17% 再到 0% 的误报率下降路径，也只有在双指标框架下才有意义。

已知缺口：组合披露与丢失确认重试

作者坦承，社区此前提出的两类场景被列入基准的"已知缺口"，当前机制无法捕获：

• 组合披露（disclosure-by-combination）：单条信息披露无害，但多条组合后构成敏感信息泄露。
• 丢失确认重试（lost-ack-retry）：确认信号丢失导致的重试引发的重复执行问题。

把缺口明确写进基准而非掩盖，是这类工程分享中少见的诚实做法，也为后续迭代划定了边界。

组合披露与丢失确认重试的机制解释

组合披露指单条信息披露在孤立语境下不敏感，但多条披露组合后可推断出敏感结论。护栏按动作逐一检查依赖事实，无法建模跨动作的累积推理效应，因此这类风险落在单步检查的盲区。丢失确认重试指动作已执行但确认信号在传输中丢失，系统误判为失败而重试，导致重复执行。护栏关注的是审批后事实是否变化，而重试场景中事实可能并未变化，问题出在确认通道的可靠性而非事实状态，因此当前机制无法捕获。两类缺口分别对应跨动作组合与通道可靠性，是依赖事实复核范式的固有边界。

两个待解问题：真实误报案例与规则可写性

作者向社区提出两个问题，都指向方案落地的实际瓶颈。

第一，他需要真实系统中"事实变了、看起来该拦、但实际上放行也没问题"的案例。这类案例难以凭空构造，却直接决定误报侧的表现——归一化规则的设计需要真实数据支撑。

第二，"该拦的变化"与"无害的变化"之间的界线，能否按工具逐个写死？还是最终仍需人工逐次判断？这个问题的答案决定了护栏是能规模化配置，还是退化为人工审批的辅助工具。

从工程角度看，这版护栏的价值不在于它已经解决了多步 Agent 安全问题，而在于它把问题拆成了可度量、可迭代的两个维度：捕获与误报。23 个场景的基准规模不大，0% 误报率的结论也需要更多真实场景验证，但"依赖事实复核 + 字段边界 + 保守归一化"这条路径，为多步 Agent 的不可逆操作防护提供了一个可复现的起点。

对构建 Agent 系统的团队而言，这个实践提示了一个更一般的原则：护栏的有效性取决于对"动作依赖什么"的精确建模，而不是对"发生了什么变化"的宽泛监控。