自蒸馏智能体RL的真实检验：10种方法对比GRPO

智能体强化学习（Agentic RL）领域近年涌现出大量自蒸馏（Self-Distillation）方法，每篇论文都宣称自己超越了基线。但一项大规模复现研究给出了冷静的答案：这些方法的增益远比论文中呈现的要有限，部分甚至无法稳定超越最简单的GRPO基线。

问题出在哪里？

自蒸馏在智能体强化学习中的应用越来越广泛，但现有评估存在几个结构性问题。研究团队指出，很多工作直接复用已发表论文中的基线分数，而这些分数是在不同实验条件下获得的——不同的模型规模、不同的训练步数、不同的评估协议。这使得横向比较几乎不可能公平进行。

更关键的是，多数论文只与自身改进前的版本对比，缺乏与同期其他方法的直接比较。训练稳定性和计算成本这两个对实际部署至关重要的维度，也往往被一笔带过。结果是：我们看到了越来越多的"新方法"，却越来越难判断这些方法到底解决了什么问题。

智能体训练的高昂成本进一步放大了这一困境。研究团队为此设计了一个统一的评估基准，目标是回答一个朴素但关键的问题：这些方法真的比GRPO更好吗？

GRPO（Group Relative Policy Optimization）最早由DeepSeekMath提出，是大语言模型强化学习中的一种无价值函数（critic-free）算法。与PPO需要额外训练一个价值网络来估计优势不同，GRPO对同一个问题采样一组（group）回答，直接以组内奖励的均值和标准差对每个回答的奖励做归一化，从而得到相对优势。这一设计省去了价值网络的显存与计算开销，也让训练流程更简洁，因此成为许多大模型RL训练（如DeepSeek^广告-R1系列）的默认基线。在智能体任务中，GRPO常被用作对比的"最低标准"：任何新方法若不能稳定超过它，其存在意义就值得怀疑。这也是本文反复以GRPO为参照的原因——它足够简单、成熟，且已被广泛验证。

**自蒸馏（Self-Distillation）**在这里指的是一类不依赖外部更强教师模型的知识蒸馏变体：模型自身在不同条件下（如不同的采样温度、不同的上下文、不同的策略版本、或同一轨迹中的成功片段）产生"教师信号"，再用来指导自己的策略更新。在智能体强化学习中，常见做法包括用成功轨迹去蒸馏失败轨迹、用多步推理中的正确分支去引导整体策略，或用历史较优策略作为教师。它的吸引力在于不需要额外标注或更大模型，理论上可以低成本地让模型"自我提升"。但正因为教师和学生同源，信号中可能混入大量噪声与自我强化的偏差，其真实增益也就更需要严格控制变量的评估来验证。

132次训练、12124 GPU小时：实验怎么做的

研究覆盖了ALFWorld、ScienceWorld、Search-QA和WebShop四个智能体任务环境，横跨三种模型规模。团队选择了10种代表性自蒸馏方法与GRPO基线进行对比，总计执行了132次训练运行，累计消耗12124.4个H800 GPU小时。

评估协议也相当严格：对预训练骨干网络和全部11种训练方法，都使用了8个不同的rollout种子进行重复评估。这意味着每个结论都经过了多次独立验证，而非单次运行的偶然结果。

除了最终任务表现，团队还记录了训练过程中的进展曲线、稳定性指标以及实际测量的计算开销。这种多维度评估让"方法是否真的有效"这个问题有了更完整的答案——不仅要看终点，还要看过程是否可靠、代价是否合理。

文中提到的四个任务环境各有侧重：ALFWorld是文本化的家庭交互环境，考验多步指令理解与物品操作；ScienceWorld包含一系列小学科学实验任务，涉及推理与状态追踪；Search-QA要求智能体通过多轮检索问答来回答问题，考验信息搜索与整合；WebShop模拟在线购物，智能体需在网页中浏览、筛选并完成购买。四者共同覆盖了具身交互、科学推理、检索问答和网页操作等典型智能体能力。

rollout种子指在评估阶段用不同的随机种子让智能体与环境交互，每次交互序列都可能不同。用多个种子重复评估，可以估计方法的方差而非仅得到一个点估计，从而判断某方法的优势是否稳定。8个种子意味着每个结论至少有8次独立采样支撑，这在强化学习评估中已属较严格的标准。

三个关键发现

实验结果可以归纳为三个核心结论。

第一，相比GRPO的增益范围有限。 没有任何一种方法在所有设置下都能稳定超越GRPO。某些方法在特定任务或特定模型规模上确实表现更好，但这种优势无法泛化。换句话说，论文中报告的"全面超越基线"，在统一条件下往往退化为"在某些条件下略优"。

第二，强最终性能可能掩盖训练不稳定。 一些方法在训练结束时给出了漂亮的分数，但训练过程中出现了剧烈的性能波动甚至崩溃后恢复的情况。如果只看最终指标，这些问题完全不可见。但对于实际部署而言，训练稳定性直接关系到方法能否在真实场景中可靠复现。

第三，额外训练成本并不稳定地转化为更好性能。 计算开销更大的方法并不一定表现更好。有些方法消耗了显著更多的GPU时间，最终效果却与GRPO持平甚至更差。这个发现对资源有限的研究团队尤为重要：更多计算不等于更好结果。

训练稳定性之所以在文章中占据核心位置，是因为强化学习训练的方差天然较大：策略更新、奖励稀疏、环境随机性都会让曲线出现波动。某些自蒸馏方法在训练中途可能出现奖励骤降、熵坍缩（策略过早收敛到单一行为）或梯度异常，随后又部分恢复，最终分数看似正常，但整个过程不可复现。对部署方来说，这意味着同样的方法在不同硬件或数据上可能导致完全不同的结果。评估一个RL方法时，除了看末端的平均回报，通常还需要关注多条种子曲线的一致性、方差大小以及是否出现崩溃-恢复模式，这些才是"能否可靠上线"的更直接指标。

对研究社区意味着什么

这项工作的价值不在于否定自蒸馏方法本身，而在于建立了一个公平比较的基础设施。研究团队将基准公开在项目页面上（https://aim-uofa.github.io/Self-Distillation-AgentRL/），供后续研究使用。

对研究者而言，这意味着未来提出新方法时，需要在一个统一的、包含稳定性与成本维度的框架下证明其价值，而非仅在自定义条件下展示优势。对工程实践者而言，这项研究提醒我们：在面对宣称"大幅超越GRPO"的新方法时，保持审慎——先确认比较条件是否公平，再评估训练稳定性和实际成本，最后才看最终分数。

自蒸馏方向的探索仍有价值，但社区需要从"更多方法"转向"更可靠的方法"。这项基准工作为这一转向提供了急需的实证基础。