稀疏奖励只是借口：Agent评估的真正瓶颈是作者成本

长周期Agent评估一直卡在同一个地方：想测一个跑40到100步的任务，却没法密集打分。逐步打分意味着人或评审模型要读完整条轨迹，又贵又慢还噪声大。于是大家退而求其次，只检查最终断言，得到的是非黑即白的通过或失败。

这种评估方式便宜，但几乎没用。Agent在第47步失败时，你手里只有一个终止错误和一份完整对话记录，然后花整个下午像侦探一样逐条排查。真正需要的信号其实出现在第12步，但你没有采集，因为采集看起来太贵了。

问题的根源在于：密集评分从来不是昂贵的那部分，编写才是。我们一直在归咎错误的成本。

密集评分到底需要什么

要说"第14步取得了进展"，必须有东西知道第14步的"进展"是什么意思。如果手里只有一个任务提示和一个最终断言，没有任何东西知道这个定义。于是你把轨迹交给评审模型，让它去猜。这很贵，而且是在猜，因为评审模型同样没有真实标准。它读的是和你一样的记录，缺的是和你一样的信息，却按token向你收费。

Tev走了另一条路。它不做事后轨迹评分，而是先编写隐藏的真实世界规格——世界的实际状态、前置条件、里程碑、终止条件——然后从这个规格渲染出环境。环境不是手工搭建后再写文档描述、文档还会漂移的那种；规格才是源头，环境只是它的投影。这样一来，任何步骤的进展都是规格的函数，不需要判断，直接计算。密集的每步奖励自然作为副产品出现，因为你已经写下了"更接近"的定义。

具体方法在论文里有：arxiv.org/abs/2610.18868v1

稀疏奖励与密集奖励是强化学习中的一组对照概念。稀疏奖励只在任务终局给出一个信号——成功或失败，中间过程完全没有反馈。密集奖励则在每一步或每个里程碑都给出进展度量。稀疏奖励的优点是编写成本低、不容易被人为偏差污染；缺点是信用分配困难，Agent很难知道漫长的动作序列中究竟是哪一步导致了失败，学习信号也极度匮乏。密集奖励恰好相反：它能提供平滑的学习梯度，但前提是必须存在一个对"进展"的客观定义，否则每步反馈都是主观判断，既不可复现也无法规模化。

**世界规格（world specification）**指的是对任务所处环境的机器可读描述：系统的初始状态、合法状态空间、必须始终成立的不变量、定义阶段性完成的里程碑，以及任务终止的条件。它与传统的"任务提示+最终断言"的关键区别在于显式性——提示只是对人类意图的自然语言描述，断言只覆盖终局；而规格把整个过程中的"什么算对"写入代码。当规格成为唯一事实来源时，环境可以从规格渲染出来，任何时刻的观测状态都能与之比对，进展因此变成一个可计算函数，而不是一个需要评审模型去猜的判断。

这为什么在生产环境里同样重要

让我真正在意这个思路的，不是基准测试的数字，而是它恰好是我们在生产环境里一直没能落实的纪律。长周期Agent会调用工具、持有状态、连续运行数分钟。当它出问题时，我的仪表盘只会告诉我出错了，不会告诉我它在第9步就开始漂移，到第20步已经无法挽回。我有日志、有追踪，但没有一个"预期状态"可以对比，所以所有信息都只是描述，不是诊断。我能确切说出Agent做了什么，却说不清它从哪一步开始走偏。

解决方案不是找一个更聪明的评审模型实时盯着Agent。我试过。它慢、按步收费，而且在我最需要它正确的模糊中间地带——Agent做着看似合理但偏离规格的事情时——它会自信地给出错误判断。真正的解法是写下世界规格：状态应该是什么样、哪些不变量应该成立、里程碑长什么样。然后拿观测状态去对照。这个检查很便宜，它是比较，不是推理。它给你一条进展曲线，而不是一份事后验尸报告。

**仪表化契约（instrumentation contract）**是这一思路在产品侧的延伸。传统可观测性只记录事件——日志、追踪、指标，回答的是"Agent做了什么"。契约则额外规定"预期的状态应该是什么"，每次工具调用后把实际状态与之对照，从而把描述性数据升级为诊断性数据，回答"从哪一步开始偏轨"。这种做法在分布式系统中并不陌生：健康检查、断言和SLO本质上都是预期状态与观测状态的比对。差别在于，Agent的中间状态远比一个服务进程更难刻画，因此更需要一份显式写下的世界规格作为比对基准。

需要破除的迷思与可借鉴的四条原则

我想破除的迷思是：密集Agent评估太贵了、跑不起。并非如此。它们是太贵了、无法临时拼凑。如果没有规格，每一步都是主观判断，而主观判断无法规模化——无论是金钱上还是一致性上。如果有规格，每一步都是一次查表。

从Tev身上可以具体借鉴这四条：

一、先写世界规格，再写任务提示。 状态、不变量、里程碑、终止条件。如果写不出来，说明你对任务的理解还不足以评估它，再多的评审模型也补不上。

二、从规格渲染环境。 单一事实来源。手工搭建的环境会和它的描述漂移，然后你的奖励就在给一个不存在的世界打分。

三、让进展作为副产品自动产生，而不是第二遍处理。 如果评分是独立管线，环境一变它就会腐烂。如果它是规格的投影，就自动保持同步。

四、在生产环境里，把同一份规格作为你的仪表化契约。 每次工具调用都对照预期状态检查。你得到的是曲线，不是感觉。

值得警惕的地方

从规格渲染的效果，取决于规格本身的质量。规格写得不够具体，你会得到自信但错误的密集奖励，以及一个直接优化到你规格与现实之间缝隙里的Agent。这比稀疏更糟，因为稀疏的失败至少是诚实的——它不会告诉你你在赢。

另外，写规格是实实在在的工作量。你把成本转移了，没有消除它。但把它从每次运行的评分转移到一次性编写，是正确的取舍，因为规格可复用、可审查、可版本化。错误的规格是一个可以修复的bug，而嘈杂的评审是驱不散的迷雾。

密集奖励还带来可调试性。稀疏给你通过或失败加一种感觉，密集给你一条曲线，而曲线会告诉你Agent在哪里停滞。那才是真正的产品——不是分数，是形状。

下次有人告诉你长周期Agent评估必须稀疏、因为密集评分太贵时，问他们要世界规格。如果他们没有，那才是他们真正在付出的成本——只是没有列出来而已。