从Agent轨迹提炼有限状态机：行为由模型还是框架决定

Agent的行为到底由谁决定：模型还是框架

当我们评价一个AI Agent的表现时，往往下意识地把功劳或问题归咎于底层大模型（LLM）。但一项新的研究提出了一个尖锐的问题：你的Agent行为中，究竟有多少来自模型本身，又有多少来自你为它包裹的那层"外壳"（harness）？

所谓harness，指的是围绕LLM构建的执行框架——提示工程、工具调用逻辑、状态管理、记忆机制、循环控制等一整套工程脚手架。这项研究的核心结论出人意料：Agent的行为拓扑结构，更多是由部署框架塑造的，而非底层的LLM。

这一发现意味着我们对Agent系统的优化重心可能需要重新校准——与其反复更换或微调基础模型，不如更仔细地审视外围工程的设计。

核心方法：把海量轨迹压缩成一台状态机

从轨迹到有限状态机（FSM）

研究的关键技术贡献，是将整个Agent运行轨迹语料库"坍缩"成一台紧凑的有限状态机（Finite-State Machine, FSM）。这个思路借鉴了自动机理论（automata theory）——每一条Agent的执行轨迹，本质上都是一串状态转移序列，而不同轨迹之间存在大量重复和共性的行为模式。

通过自动机归纳（automata induction）技术，研究者把成千上万条轨迹归纳为一台状态数极少的机器。在十二个公开数据集上的实验显示，归纳出的状态机规模仅在7到43个状态之间。也就是说，看似复杂多变的Agent行为，其底层结构可以用极少数状态来描述。

保真度与稳定性指标

这台状态机的质量指标同样值得关注：

• 回放保真度（fitness）高达0.997：在留出数据（held-out data）上重放时，几乎完美还原了真实轨迹。
• 拓扑结构跨切分近乎一致：无论如何划分数据集，归纳出的状态机拓扑结构都高度相似，说明它捕捉到的是稳定的结构性规律，而非过拟合的噪声。
• 构建耗时仅在毫秒级：整个归纳过程极其高效，几乎没有计算负担。

这三点合在一起构成了一个强有力的证据链：Agent的行为确实存在一个稳定、可压缩、可复现的底层结构。

实用价值：预测、监控与早停

这台有限状态机不只是一个理论分析工具，它在多个实际任务上展现了工程价值。

下一步预测：超越现有方法

研究将FSM状态作为上下文用于"下一步预测"任务，结果在每一个有真值匹配（ground-truth-matched）的数据集上，都**超越了Agent Workflow Memory（AWM）**这一现有方案。这表明，把当前所处的"状态"作为显式信号，比依赖工作流记忆更能准确预判Agent的下一步动作。

失败预测：AUROC高达0.94

研究者为每个状态设计了行为特征（per-state behavioral features），用于预测运行是否会失败。在留出集上，失败预测的AUROC最高达到0.94——这意味着仅凭状态层面的行为特征，就能高精度地区分一次运行是否会走向失败。

在线监控与早停机制

最具落地意义的是在线监控能力。研究构建了一个在线监视器，能够从部分轨迹（partial trace）中就将失败的运行排在成功运行之前，从而在任务完成之前触发早停（early stopping）。

对于成本敏感的Agent部署场景，这一点价值巨大：与其让一个注定失败的运行消耗完整的token和工具调用预算，不如在早期就识别并中断它。这直接关系到生产环境中的成本控制与响应效率。

为什么说是框架而非模型在主导行为

结构稳定性背后的推论

研究者的核心推论是：行为拓扑更多由部署框架塑造，而非底层LLM。

这个结论的逻辑基础在于状态机的稳定性。如果Agent行为主要由LLM的随机采样和内部推理主导，那么归纳出的状态机应该更加发散、难以压缩、跨切分不稳定。但实验恰恰相反——极少的状态、极高的保真度、跨切分一致的拓扑，都指向一个由外部约束主导的系统。

换句话说，harness通过工具接口、提示模板、循环条件等机制，实际上为LLM划定了一条条明确的"轨道"。LLM在每个节点做出局部决策，但整体的行为骨架，是由工程框架预先决定的。

对Agent工程的实践启发

这一视角对当前的Agent开发实践有几点直接启发：

1. 调试重心的转移：当Agent频繁失败时，先审视框架逻辑（工具设计、状态流转、终止条件）可能比更换模型更有效。
2. 可解释性的新路径：将黑箱Agent压缩成可视的有限状态机，为理解和审计Agent行为提供了一个结构化的抓手。
3. 跨模型可迁移性：既然行为结构主要由框架决定，那么在框架层面积累的优化经验，理论上可以在不同底层模型间迁移复用。

给Agent行为一张结构地图

这项工作的意义，在于它提供了一种把混沌的Agent轨迹转化为清晰结构的方法论。有限状态机既是分析工具，也是监控引擎，还是一面照见"模型与框架分工"的镜子。

随着Agent系统越来越复杂、越来越深入生产环境，这类可解释、可预测、可干预的分析框架将变得愈发重要。而它带来的最深刻提醒或许是：在追逐更强大的基础模型之外，我们对"外壳"工程的重视程度，可能远远不够。