Tev用密集进度奖励破解长时任务智能体训练难题

开源智能体在长时任务上表现不佳，核心卡点有两个：缺少带可验证中间状态的训练数据，以及一种能在不泄露最终目标的前提下引导多小时执行的奖励信号。Tev-Gym 及其提出的进度势能奖励塑形（PPRS）方案试图同时解决这两个问题。这套基础设施面向的是具有经济价值的工作流——投资组合再平衡、财报分析、甚至跨越数天的递归自我改进循环。

稀疏奖励困境

多数智能体基准只提供二元反馈：任务完成或失败。假设一个交易智能体需要收集市场数据、运行估值模型、检查合规规则，并在四个交易所执行交易，那么直到最后一步之前，你能获得的信号为零。这让信用分配几乎无法进行。

传统强化学习依赖密集奖励，但为每个可能的智能体任务手工设计中间奖励不具备可扩展性。你需要一种系统化方法来衡量进度，同时不把解题路径编码进去。

信用分配是强化学习中的经典难题：当智能体只在任务终点拿到一个奖励信号时，它很难判断之前几十甚至上百步中，究竟是哪一步的操作真正贡献了最终的成功或失败。这种归因困难在长时任务中被指数级放大。主流解决思路有三类：一是奖励塑形，人为引入中间奖励引导探索；二是事后重标注，用成功轨迹反推关键步骤；三是分层强化学习，让高层策略负责子目标分解、低层策略负责具体执行。PPRS 属于第一类，但区别于手工设计中间奖励，它借助潜世界模型自动计算进度，从而避免把解题路径硬编码进奖励函数。

潜世界优先的构建方式

Tev-Gym 采用三层方法构建了 1,170 个经过验证的任务环境：

1. 潜世界规范：任务领域、工作流及每一步之后预期状态的完整隐藏模型。这是基准真相。
2. 渐进式渲染：环境从规范生成，因此复杂度可控，且每个中间状态都可验证。
3. 进度指标提取：由于规范了解完整工作流，它可以衡量智能体推进了多远，而不泄露解法。

这颠倒了通常的基准设计思路。不是先收集任务再反向推导评估标准，而是先从形式化任务模型出发，再从它渲染出环境。

进度势能奖励塑形

PPRS 将进度指标转换为每步奖励。关键洞察在于：奖励智能体到达具有更高完成任务潜力的状态，而不是奖励特定动作。

奖励函数大致如下：

def pprs_reward(state, next_state, task_spec):
    progress_current = task_spec.measure_progress(state)
    progress_next = task_spec.measure_progress(next_state)
    potential_delta = progress_next - progress_current
    return potential_delta + sparse_terminal_reward(next_state)

这满足奖励塑形不变性：在密集奖励下的最优策略，在稀疏终端奖励下同样最优。你没有改变智能体应该做什么，只是让梯度噪声更小。

势能塑形（potential-based reward shaping） 源自 Ng 等人在 1999 年证明的定理：若塑形奖励形如 F(s, s') = γΦ(s') − Φ(s)，其中 Φ 是状态上的势能函数，则在该塑形下得到的最优策略与原始稀疏奖励问题的最优策略完全一致。这被称为奖励塑形不变性。PPRS 的潜在增量正是这一形式的实例，Φ 即任务规范给出的进度度量。它的实际价值在于：允许工程师放心地设计任意复杂的进度函数作为引导，而无需担心引入偏差、把智能体引向错误目标——策略最优性在理论上得到保障，缩短的只是收敛所需的样本量。

检查点粒度的权衡

长时任务需要检查点，但存储与评估成本随检查点频率上升。Tev 采用基于潜世界模型的任务感知检查点。

检查点策略	存储成本	评估开销	灾难性遗忘风险
每步	高（100% 状态）	高（持续验证）	低
固定间隔（每 N 步）	中	中	中
任务感知（工作流里程碑）	低（5-10% 状态）	低（仅在决策点）	低
仅终端	极低	极低	高

任务感知检查点只在潜世界模型指示工作流边界时保存状态：数据已采集、模型已训练、合规检查已通过。这将存储降低约 90%，同时保留从有意义的中间状态恢复的能力。

灾难性遗忘在长时智能体训练中尤为棘手：当工作流跨越数千步、涉及多个子技能时，模型在训练后期微调某一阶段的策略，容易覆盖早期阶段已学到的能力，表现为智能体在数据采集阶段仍然熟练、但模型训练阶段的能力明显退化。任务感知检查点之所以在表中标注“低遗忘风险”，是因为它把状态锚定在工作流的语义边界上，使回放与再训练可以按阶段隔离，避免不同技能相互干扰。相比之下，仅终端检查点虽然存储最省，但一旦需要从中间状态恢复或做阶段化课程训练，就无从下手，只能从头开始，反而推高了隐性成本。

训练配方与结果

Tev-27B 完全在 ALE（Agents' Last Exam）的计算与数学科学领域上使用 PPRS 训练。尽管是开源且更小的模型，它在 ALE-CM 上的 Pass@5 指标上匹配了 GPT-6 Astra 和 Claude Opus 5。

泛化才是真正的考验。训练期间没有见过 Terminal-Bench 数据，Tev-27B 在 TB 3.0 和 4.0 子集上超过了 GLM 5.2 和 Gemini 3.7 Flash。在中时任务（TB 2.1）上，它达到了 Claude Opus 4.8 的表现。

这表明 PPRS 配方教的是可迁移的任务分解能力，而不仅仅是领域特定的启发式。

金融工作流的部署形态

采用该方法的投资组合再平衡智能体会这样运作：

1. 定义潜世界：资产池、再平衡规则、合规约束、执行场所。
2. 渲染环境：市场数据源、订单管理系统、合规 API。
3. 埋入进度探针：在数据采集、估值完成、合规审批、执行启动处设置检查点。
4. 用 PPRS 训练：奖励每个工作流阶段的推进，而不硬编码交易逻辑。
5. 带状态持久化部署：在工作流边界保存检查点，使智能体可在中断后恢复。

潜世界模型成为你的可观测层。你可以检查智能体是卡住了、退步了，还是在向终端目标真正推进。

可能的失败模式

奖励黑客：如果进度指标设计不当，智能体会找到捷径。若进度函数只统计 API 调用次数，交易智能体可能在没有真正检查规则的情况下将合规标记为完成。

检查点膨胀：即使采用任务感知检查点，若工作流有大量决策点，存储仍可能爆炸。你需要保留策略和压缩。

泛化边界：Tev-27B 跨任务长度泛化，但仍在相似领域内（计算、数学）。跳到全新领域（法律研究、硬件设计）大概率需要重新训练。

潜世界漂移：如果真实环境变化（新合规规则、API 弃用），潜世界模型会过时。你需要一套流程来更新规范并重新渲染环境。

技术结论

适合使用 Tev 式 PPRS 的场景：

• 任务有清晰的中间里程碑（数据采集、模型训练、审批门）。
• 你需要开源模型处理多小时工作流。
• 你能投入资源为你的领域构建潜世界模型。
• 存储与算力预算允许任务感知检查点。

应避免的场景：

• 任务真正非结构化，没有自然的进度指标。
• 需要亚秒级延迟的实时执行（检查点开销过高）。
• 环境变化速度快于你更新潜世界规范的速度。
• 你已有能处理长时任务的闭源模型，且不需要训练基础设施。

真正的贡献不是特定模型，而是配方：潜世界优先设计加上进度势能奖励塑形。对于任何需要智能体学习多天工作流的领域，这都是可复用的基础设施。

来源链接

• Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards (arXiv:2610.18868v1)
• PDF