PROOF-Gen：修复失败轨迹，让蒸馏数据不再浪费

工具调用蒸馏的隐性成本

将前沿大模型（frontier teacher）的工具调用能力蒸馏进可部署的小模型，已经成为业界的标准做法。知识蒸馏（Knowledge Distillation）最早由 Hinton 等人在 2015 年提出，核心思想是让小型"学生模型"从大型"教师模型"中学习其输出分布。在大模型时代，蒸馏的内涵已从最初的 logits 匹配扩展为更广泛的行为模仿——学生模型直接在教师模型生成的文本序列上进行监督微调（SFT），通过最小化交叉熵损失来逼近教师的行为分布。这一流程的第一阶段几乎无一例外地采用这种方式：在教师模型生成的轨迹（trajectories）上进行 SFT。方案看似简单直接，但当它进入真实的生产环境后，隐藏的成本便浮出水面。

这里的"轨迹"是指智能体完成一个完整任务的全部交互序列，包括模型的每一次推理输出、工具调用请求、工具返回结果以及最终的任务完成状态。工具调用（Tool Calling / Function Calling）本身是构建 AI 智能体的核心基础——智能体需要在多步交互中感知环境、调用外部 API 或数据库、获取反馈并调整后续动作。一条轨迹可能包含数十轮这样的交互，其质量直接决定了蒸馏训练的效果。

驱动线上工具调用智能体的后训练流水线，往往需要以每天或每周的频率重新运行蒸馏阶段。每一次迭代，都要重新支付一次调用前沿教师模型的高昂成本。更关键的是，其底层机制始终是简单的"生成—过滤"（generate-and-filter）：保留教师模型通过的轨迹，丢弃其余全部。这种生成-过滤范式是当前大模型数据合成的主流工业做法，广泛应用于代码生成、数学推理和工具调用等领域。其优势在于实现简单、质量可控，但通过率（pass rate）直接决定了成本效率——当前沿模型的 API 定价持续处于高位时，低通过率意味着巨额的直接经济损失。

这种做法带来一个结构性的缺陷——每一轮循环都会留下同样的困难场景无法攻克。因为失败的轨迹被直接舍弃，它们无法为模型提供任何有价值的学习信号。换句话说，模型在最需要提升的"硬骨头"上，恰恰得不到任何训练数据。

被浪费的失败数据：57%的推理成本付之东流

在 τ2-bench（一个工具调用能力评测基准）上，教师模型的试验中有高达 57% 的比例是失败的。τ2-bench 是近期提出的专门评估大模型工具调用能力的基准测试，它模拟了真实世界中智能体需要处理的复杂多步工具调用场景——与简单的单轮函数调用评测不同，τ2-bench 要求模型在多轮对话中进行一系列相互关联的工具操作，例如在客户服务场景中需要查询订单、修改信息、处理退款等连续操作。这种评测设计更贴近生产环境的真实复杂度，也正因如此，即便单步准确率很高，多步串联后的整体成功率也会大幅下降。57% 的失败率意味着超过一半的推理成本产出的轨迹，在传统的"生成—过滤"范式下会被直接扔进垃圾桶。

更值得关注的是这些失败的构成：其中约有 三分之二属于"近乎正确"（near-misses）。所谓近乎正确，指的是模型的绝大部分工具调用都是正确的，只是在某个关键环节出了差错——例如某个动作未能完成或被撤销。

为什么近乎正确的数据如此珍贵

从学习信号的角度看，"近乎正确"的失败轨迹蕴含着极高的信息密度。从信息论的角度审视，near-miss 样本的价值与"课程学习"（Curriculum Learning）和"困难样本挖掘"（Hard Example Mining）的理论基础一脉相承。在机器学习中，模型从处于其决策边界附近的样本中获得的梯度信息最为丰富。一条 90% 正确的轨迹，其错误点恰恰标记了模型当前策略的精确失败模式（failure mode），这种定位精度远高于完全随机的失败或完全成功的轨迹。这与强化学习中的"事后经验回放"（Hindsight Experience Replay, HER）思想类似——即便最终目标未达成，过程中的部分成功经验仍然可以被重新标注和利用。

一条几乎全对、只差临门一脚的轨迹，清晰地标定了模型能力的边界所在——它揭示了在哪一步、以何种方式，模型的推理链条发生了断裂。

相比之下，那些成功的轨迹往往集中在模型早已擅长的"简单场景"上，边际学习价值反而更低。而传统蒸馏流程却做了一个恰恰相反的选择：留下容易的成功案例，丢弃困难的近乎成功案例。这正是每一轮循环都难以攻克同样困难场景的根本原因。

PROOF-Gen 的核心思路：数据优化优先

PROOF-Gen 的命名本身就点明了它的主张：From Optimized Data to Better Distillation（从优化数据到更好的蒸馏）。它的着力点不在于换一个更强的教师模型，也不在于改进微调算法本身，而在于对训练数据的生成与利用方式进行系统性优化。

其核心洞察在于：与其反复支付前沿教师的成本、却每次都丢弃一半以上的产出，不如把这些失败——尤其是近乎正确的失败——转化为可用的训练信号。

从丢弃到修复：变废为宝的关键操作

对于近乎正确的轨迹，最自然的思路是"修复"而非"抛弃"。轨迹修复（trajectory repair）是 PROOF-Gen 的核心技术操作，其本质是对失败轨迹进行最小化编辑以使其转化为成功轨迹。具体而言，修复过程需要解决三个关键子问题：一是故障定位，即在长序列中精确识别出导致任务失败的关键步骤；二是修正方案生成，即为出错步骤生成正确的替代动作；三是后续一致性，即确保修正后的步骤与后续轨迹逻辑一致，或重新生成修正点之后的所有步骤。这类似于软件工程中的"热修复"（hotfix）理念——不重写整个程序，而是定位并修复最小化的错误点。

既然大部分工具调用都已正确，那么只需定位并修正出错的关键环节，就能将一条失败轨迹改造成一条高质量的成功轨迹。这样一来：

• 推理成本不再浪费：昂贵的教师模型调用产出得到充分利用；
• 数据覆盖困难场景：训练数据得以触及此前"生成—过滤"范式无法覆盖的边界区域；
• 模型获得针对性提升：在自身能力边界处获取精准的学习信号。

这种"数据优化优先"的范式，本质上是在同等甚至更低的教师调用成本下，榨取出更高质量、更具针对性的蒸馏数据。

对工业级智能体流水线的实际意义

对于那些需要高频重训的生产系统而言，PROOF-Gen 所代表的思路具有直接的经济价值。当一条流水线每天或每周都要重跑一次蒸馏阶段时，教师模型的调用成本会随时间线性累积。将 57% 的失败轨迹从"纯粹的沉没成本"转化为"有效训练资产"，意味着单位成本下的数据产出效率可以显著提升。

后训练工程（Post-training Engineering）正在成为大模型开发中与预训练同等重要的技术方向。随着预训练模型日趋同质化，后训练阶段的数据质量和训练策略成为差异化竞争的关键。业界已经从早期的"数据规模优先"转向"数据质量优先"——例如 Meta 的 Llama 3 系列在后训练中大量使用了精心策划的合成数据，而非简单堆积数据量。PROOF-Gen 所代表的数据优化思路，进一步将这一趋势推向"数据效率优先"——在固定的教师调用预算下最大化训练信号的提取效率，这在推理成本占据运营开支主要份额的当下具有重要的工程经济学意义。

更长远地看，这也改变了蒸馏迭代的动力学。传统流程中，困难场景像一堵墙，无论迭代多少轮都无法逾越；而在数据优化的范式下，每一轮迭代都能把能力边界向外推进一步，让模型逐步攻克曾经无法突破的硬场景。

重新定义"高质量数据"

PROOF-Gen 揭示了一个更深层的问题：在大模型蒸馏乃至更广泛的数据合成领域，我们对"高质量数据"的定义可能过于狭隘。长期以来，业界默认只有"完全正确"的样本才有价值，但处于能力边界上的失败样本，往往才是推动模型进步的最佳燃料。这一认知转变与机器学习领域的多项研究发现相呼应：从对比学习中"困难负样本"（hard negatives）的重要性，到 RLHF 中偏好对（preference pairs）的构建策略，再到 DPO 训练中"选中-拒绝"样本对的质量对齐效果——越来越多的证据表明，模型能力的提升往往不是由"正确答案"驱动的，而是由"正确与错误之间的精细对比"驱动的。

随着推理成本日益成为 AI 系统运营的核心开销，如何从每一次昂贵的教师调用中榨取最大价值，将成为后训练工程的关键命题。PROOF-Gen 提供的答案清晰而务实：不要丢弃失败，去修复它。

注：本文基于单一 RSS 来源整理，PROOF-Gen 的具体技术实现细节与完整评测数据，建议参考原始研究材料以获得更全面的了解。