[控场AI]
论文OnTrack 论文

OnTrack

一种用于实时监控LLM Agent轨迹的流式监控方法,通过最优传输(Optimal Transport)将Agent当前步骤依赖图与参考轨迹进行结构感知比对,无需额外LLM即可在毫秒级判断异常并决定提醒或阻断。

时间轴 (近 90 天)

10月13日

OnTrack 是一种流式监控方法,它通过将 Agent 当前步骤及其依赖关系与已记录的成功运行轨迹做结构感知比对,而不额外调用 LLM 作为裁判,来实时判断并决定提醒用户或阻断 Agent。

待验证50%
10月13日

OnTrack 使用最优传输(Optimal Transport)来衡量当前轨迹与参考轨迹之间的结构差异,而非简单的字符串或嵌入相似度比较。

待验证50%
10月13日

OnTrack 能在约 1 毫秒内完成 Agent 每一步的结构比对判断。

待验证50%
10月13日

在 SWE-bench 轨迹评估中,使用前 8 步信息时,OnTrack 对失败轨迹的排序能力优于内容相似度方法,AUROC 高出 0.057。

待验证50%
10月13日

OnTrack 的中止策略节省了约 18% 本会消耗在失败运行上的计算资源,且在被中断的运行中 83% 确实正在走向失败。

待验证50%
10月13日

OnTrack 的能力随数据访问权限递减而下降:全参考访问(有历史轨迹和工具 schema)时可做计划违规检测;中等访问(只有 schema)时只能对照工具合法用法发现异常调用;无先验知识(只有实时日志)时仍能识别循环、停滞和重复工具调用,但无法判断陌生但合理的计划是否偏离目标。

待验证50%
10月13日

OnTrack 不需要额外训练守护模型,主要依赖已有运行数据。

待验证50%
10月13日

OnTrack 的局限在于参考轨迹的质量直接决定监控上限,若历史成功运行本身有问题,比对基准就不可靠。

待验证50%
10月13日

OnTrack 的毫秒级监控检测的是单步与参考结构的偏差,跨多步的缓慢漂移需要结合更长的历史窗口来判断。

待验证50%

全部知识事实 (9)

待验证

OnTrack 是一种流式监控方法,它通过将 Agent 当前步骤及其依赖关系与已记录的成功运行轨迹做结构感知比对,而不额外调用 LLM 作为裁判,来实时判断并决定提醒用户或阻断 Agent。

50%
待验证

OnTrack 使用最优传输(Optimal Transport)来衡量当前轨迹与参考轨迹之间的结构差异,而非简单的字符串或嵌入相似度比较。

50%
待验证

OnTrack 能在约 1 毫秒内完成 Agent 每一步的结构比对判断。

50%
待验证

在 SWE-bench 轨迹评估中,使用前 8 步信息时,OnTrack 对失败轨迹的排序能力优于内容相似度方法,AUROC 高出 0.057。

50%
待验证

OnTrack 的中止策略节省了约 18% 本会消耗在失败运行上的计算资源,且在被中断的运行中 83% 确实正在走向失败。

50%
待验证

OnTrack 的能力随数据访问权限递减而下降:全参考访问(有历史轨迹和工具 schema)时可做计划违规检测;中等访问(只有 schema)时只能对照工具合法用法发现异常调用;无先验知识(只有实时日志)时仍能识别循环、停滞和重复工具调用,但无法判断陌生但合理的计划是否偏离目标。

50%
待验证

OnTrack 不需要额外训练守护模型,主要依赖已有运行数据。

50%
待验证

OnTrack 的局限在于参考轨迹的质量直接决定监控上限,若历史成功运行本身有问题,比对基准就不可靠。

50%
待验证

OnTrack 的毫秒级监控检测的是单步与参考结构的偏差,跨多步的缓慢漂移需要结合更长的历史窗口来判断。

50%

来源文章