Harness-S：利用兄弟执行框架实现智能体通用训练

智能体训练中，执行框架（harness）的设计往往决定了策略的最终表现。然而，一个常见的困境是：针对特定失败模式优化的框架，在策略学习过程中可能逐渐失效。最近提出的 Harness-S 方法，通过“兄弟框架”的协同训练，为这一难题提供了新思路。

执行框架演化的三大特性

研究指出，从同一基础框架演化出的变体表现出三个关键特性：局部性（Locality）、互补性（Complementarity） 和 非平稳性（Nonstationarity）。局部性意味着不同变体修复的是不同的失败模式；互补性表明这些修复方向可以相互补充；而非平稳性则指出，框架的有效性会随着策略的学习而动态变化。

这三大特性共同揭示了一个事实：不存在一个普遍最优的框架。相反，框架的价值是情境依赖且随时间演化的。因此，与其追求“万能框架”，不如构建一个能够动态调用不同框架优势的训练机制。

Harness-S 的核心机制

Harness-S 的目标是选择性地利用兄弟框架来挽救基础执行系统的失败，并将由此获得的能力迁移到单一策略中，使其在原始框架下依然有效。该方法包含三个关键组件：

方向性框架演化（Directional Harness Evolution）

该组件沿不同的修复方向开发专门的兄弟框架，形成一个可复用的兄弟框架池（Sibling Harness Pool）。这个池子在策略训练期间保持固定，确保训练过程的稳定性。

互补框架救援训练（Complementary Harness Rescue Training）

只有当基础框架下的所有初始尝试都失败时，才会调用这个框架池。相同的策略在选定的辅助框架下生成新的轨迹，这些轨迹将替换失败的组，用于强化学习。这种“按需救援”的机制避免了不必要的计算开销，同时确保了训练信号的质量。

Top-k 选择指路由器并非只挑一个兄弟框架，而是按置信度或投票得分排序后取前 k 个候选。k 通常取较小值（如 2–3），以控制救援阶段的额外 rollout 开销。多个候选可以覆盖不同失败模式，提高救援成功的概率。

多 LLM 投票是一种集成式路由手段：让若干大语言模型分别根据框架行为画像判断哪个兄弟框架最适合当前失败样本，再以多数票或加权得分聚合。相比单一模型判断，投票能降低路由噪声，但也引入推理成本，因此通常只在训练阶段或对延迟不敏感的推理场景使用。

自适应框架路由器（Adaptive Harness Router）

路由器利用框架行为画像（Harness Behavior Profiles） 和多个大语言模型的投票，选择 Top-k 个变体。随着策略的学习，策略感知的画像重锚定（Policy-aware profile re-anchoring）会刷新这些证据，确保路由决策与策略的当前状态保持一致。

执行框架（harness） 在智能体领域指的是一套围绕基础模型构建的运行时外壳，负责工具调用、上下文管理、错误恢复、重试策略等交互逻辑。它不改变模型参数，却直接决定了智能体在环境中能观察到什么、能采取哪些动作。同一个基础模型搭配不同 harness，任务成功率可能相差数十个百分点，因此 harness 设计本身是一种可优化的“系统级策略”。

策略（policy） 在此语境下即被训练的智能体模型，它根据观测输出动作。强化学习训练的目标是让策略在给定 harness 的交互循环中最大化累积回报。

强化学习（RL）中的“组”与轨迹：GRPO 一类方法会对同一提示采样多条轨迹构成一组，用组内相对优势估计梯度。Harness-S 的“救援”正是替换失败组中的轨迹，从而在不增加额外 rollout 预算的前提下改善训练信号。

实验验证与迁移效果

在 AppWorld、SWE-Gym 和 DBBench 三个基准上，训练后的策略在返回原始基础框架时，表现显著优于仅进行策略训练（policy-only training）的基线。行为分析和留出案例（held-out cases）进一步支持了框架引发的行为确实迁移到了策略本身。

此外，将路由器复用于 Rank-1 推理，在相同的执行器 rollout 数量下提供了额外的性能提升。这表明 Harness-S 的机制不仅适用于训练阶段，还能在推理时带来增益。

Rank-1 推理指在推理时让路由器只选出得分最高的一个兄弟框架来执行任务，而非在原始基础框架上直接 rollout。由于路由器复用了训练阶段学到的框架行为画像，这一切换几乎不增加额外开销；在相同的执行器 rollout 数量下，Rank-1 推理相当于把“选对框架”本身当作一种免费的性能增益。

留出案例（held-out cases） 指训练中未出现过的任务实例。用它们评估可以检验策略是否真正习得了可迁移的能力，而非记住了特定框架下的轨迹模式。行为分析通常包括对比策略在不同框架下的动作分布与错误类型，以判断框架引发的行为改变是否内化到了策略中。

启示与展望

Harness-S 提供了一种务实的思路：与其追求单一最优框架，不如构建一个框架生态系统，并通过智能路由在训练中动态利用其多样性。这种方法避免了框架设计中的“一刀切”问题，同时保持了策略的通用性。

对于智能体训练领域而言，这项工作强调了框架演化与策略学习之间的耦合关系。未来的研究可以进一步探索如何自动化地发现新的修复方向，以及如何将这一机制扩展到更多样的任务环境中。

---

参考文献

Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training. (根据提供的原始素材整理)