SkillScaffold：让智能体RL学会选择性注入技能

当技能注入不再理所当然

让大语言模型（LLM）通过多轮交互学习复杂任务，已经成为智能体强化学习（Agentic RL）的核心思路。在这条路径上，"技能"（skill）——即从历史交互中提炼出的可复用文本指引——被广泛用于改善探索效率。思路本身很自然：如果模型能从过去的成功轨迹中总结出"下次遇到类似情况该怎么做"，理论上就能少走弯路。

但一个被反复忽略的问题是：技能注入真的总是有益的吗？

来自 SkillScaffold 的研究指出，现有技能驱动的 RL 方法大多默认注入技能会带来正向收益，或者依赖间接反馈和大量 rollout 来评估技能是否有用。而他们的试点实验揭示了一个更微妙的事实：基于 rollout 的技能效用估计不仅昂贵，在有限采样下还极不稳定；更关键的是，同一条技能对不同查询、不同策略能力水平的效果差异巨大——有些查询下技能如虎添翼，另一些查询下反而成为干扰。

这一观察直接指向一个设计原则：技能系统需要的不是"注入与否"的二元开关，而是基于当前策略能力的自适应判断。

智能体强化学习（Agentic RL） 区别于传统 RL 的核心在于：智能体不再只是输出单个动作，而是在多轮交互中调用工具、检索信息、分步决策，最终完成诸如网页购物、多步推理操作环境等长程任务。这类任务的奖励往往稀疏、动作空间巨大，探索效率成为主要瓶颈。技能（skill）作为从历史交互轨迹中蒸馏出的文本化可复用指引，本质是一种「软提示」——它不改变模型参数，只通过上下文影响策略分布，从而在无需额外梯度更新的情况下引导探索方向。这也是技能方法相比参数微调更容易迭代、更易迁移的原因，但也正因为其条件性作用，如何判断「何时该用、用哪条」成为关键工程问题。

核心方法：低成本效用估计 + 选择性注入

SkillScaffold 的解法围绕一个训练支架（training scaffold）展开，它由三个协同工作的组件构成。

复用已验证轨迹，绕开昂贵 rollout

传统方法评估一条技能是否有用，往往需要针对该候选技能单独跑环境 rollout，成本高且方差大。SkillScaffold 的做法是复用已经完成结果验证的训练轨迹，在此基础上生成候选技能，并通过"结果感知的似然比较"来估计技能效用，完全不依赖候选专属的环境交互。

这意味着效用估计的边际成本被大幅压低，同时避免了有限采样带来的不稳定性。

结果感知的似然比较（outcome-aware likelihood comparison） 是一种不依赖额外环境交互的效用估计手段。其思路是：在一批已经跑完并获得结果验证（如成功/失败标记）的轨迹上，分别计算「携带候选技能」与「不携带技能」两种条件下模型重现该轨迹的对数似然，再依据轨迹的结果标签对似然差进行加权比较。成功的轨迹若在注入技能后似然显著上升，说明该技能与有效行为一致；若失败轨迹的似然被技能抬高，则提示技能可能诱导错误行为。相比为每条候选技能单独 rollout 再统计成功率，这种方法把效用估计转化为一次前向计算，方差更小、成本更低，是对 RL 中经典「离线策略评估」思想的轻量化借用。

效用驱动的选择性注入与放弃机制

估计出的效用值直接指导两个决策：是否注入技能，以及注入哪一条技能。当所有候选技能的估计效用都不理想时，系统会选择无技能执行（skill-free execution），而不是强行注入。

论文的消融实验专门验证了这种"基于效用的选择与放弃"机制的重要性——它并非可有可无的工程细节，而是性能提升的关键来源之一。

生成器与执行器的联合训练

SkillScaffold 包含两个角色：Generator 负责产出技能，Executor 负责执行任务。两者进行联合训练，使得 Generator 能够持续产出适配 Executor 当前策略水平的技能。随着 Executor 能力提升，所需技能的形态和内容也会随之演变。

最终，脚手架式 RL 训练鼓励 Executor 将技能内化——在推理阶段可以脱离技能独立完成任务。

技能内化（skill internalization） 指 Executor 在训练过程中逐渐将外部文本技能所承载的行为模式吸收进自身策略，使得推理阶段即使不提供技能也能完成同类任务。其机制类似于师生蒸馏：早期技能作为强引导帮助模型找到正确行为分布，随着策略在这些行为上被反复强化，模型自身的先验已足以复现该行为，技能的边际效用随之下降——这正是效用估计能够自动触发「放弃」的原因。内化的实际收益是降低推理时的上下文长度与延迟，避免每次调用都携带庞大技能库；其风险则在于，若训练分布与部署分布存在偏移，已被内化的能力可能无法泛化，因此结果验证信号的质量直接决定了内化的可靠性。

实验表现：四个基准上的全面验证

SkillScaffold 在 ALFWorld、WebShop、ScienceWorld 和 τ²-Bench 四个基准上进行了评估。这几个环境覆盖了从短程到长程的不同任务类型：ALFWorld 和 ScienceWorld 侧重多步推理与环境操作，WebShop 考察网页交互中的决策，τ²-Bench 则针对更复杂的工具使用与对话场景。

结果显示，SkillScaffold 在短程和长程任务上都超越了强智能体 RL 基线和技能驱动 RL 基线。论文进一步通过消融和分析实验，支撑了效用选择与放弃机制的必要性。

代码已在 GitHub 开源（https://github.com/Vaidurya00/SkillScaffold）。

为什么这个方向值得关注

SkillScaffold 触及了智能体 RL 中一个正在成型的共识：技能的價值是条件性的。一条技能在策略能力不足时可能是必要的引导，在策略已经掌握该能力后则可能变成冗余甚至干扰。

这与人类学习过程有相似之处——初学者需要详细的步骤提示，熟练者则需要的是放手练习。SkillScaffold 用可量化的效用估计把这一直觉转化成了可训练、可部署的机制。

另一个值得注意的设计是技能内化目标。很多技能增强方法在推理时仍需携带技能库，带来额外的上下文开销和延迟。SkillScaffold 通过训练让模型逐步摆脱对技能的依赖，在保持能力的同时降低推理成本，这对实际部署有直接意义。

当然，效用估计的准确性仍然依赖于结果验证信号的质量和密度。在奖励稀疏或验证困难的任务上，这套机制能否同样稳定，是后续值得跟踪的问题。