SGUID：精简技能库蒸馏，让LLM技能与模型协同进化

大语言模型在推理时注入「技能」——可复用的程序性指导——能够显著提升下游任务表现。但一个被长期忽视的问题是：并非所有技能都值得蒸馏。最新研究 SGUID 指出，在策略内蒸馏中，检索到的技能里不到 25% 能提供有效的学习信号。

技能蒸馏的隐性浪费

以往的方法通常依赖语义相关性从技能库中检索技能，再将其作为推理时的补丁或用于模型蒸馏。这种「按需调用」的思路看似合理，却掩盖了一个关键事实：单个技能的效用差异极大。

研究团队在策略内蒸馏（on-policy distillation）设定下，让条件于技能的策略充当教师模型，结果发现不到四分之一的检索技能真正提供了有用的蒸馏信号。换句话说，传统技能库中大部分内容在蒸馏过程中是「陪跑」的，甚至可能引入噪声。

这一发现直接指向一个方法论问题：与其把整个技能库灌输给模型，不如先筛选出真正有价值的技能子集。

策略内蒸馏（on-policy distillation） 是知识蒸馏的一种变体，区别于传统离线蒸馏。传统蒸馏中，教师模型在一批固定的、通常由其他模型生成的样本上给出软标签，学生模型被动拟合这些标签。而策略内蒸馏让学生模型先自己生成轨迹（rollout），再由教师模型对这些「学生自己走过的路径」进行评分或提供监督信号。这样做的好处是训练分布与学生推理时的实际分布一致，避免了离线数据与学生行为之间的分布偏移问题。在技能蒸馏场景下，教师模型是「条件于某个技能」的同一模型，即把技能作为提示注入后让它充当更懂该技能的教师，从而把这份程序性知识蒸馏回不带技能提示的学生模型。

SGUID 如何筛选技能

SGUID 的核心逻辑简洁而严格：只有当某个技能在训练过程中持续产生有效的学习信号时，才保留它。这种「持续有效」的判定标准，过滤掉了那些偶尔有用、但整体贡献不稳定的技能。

筛选完成后，选中的技能被蒸馏进模型，得到一个更强的学生模型。这一过程不是一次性的——SGUID 设计为支持模型的「技能与模型协同进化」（model-skill co-evolution）。

具体而言，一轮蒸馏结束后，系统会从更新后模型的 rollout 中整理出新的候选技能库，SGUID 再从中选出下一轮应该内化的技能。如此循环，模型和技能库互为驱动、共同迭代。

模型-技能协同进化（model-skill co-evolution） 借鉴了持续学习与自博弈式迭代的思想。传统技能库是静态的：技能一旦被收集便固定不变，模型只能被动地从同一批技能中反复学习，容易遭遇收益递减。协同进化则打破这一静态假设，让技能库随模型能力的变化而更新——模型变强后，rollout 中会涌现出新的行为模式，这些模式被提炼成新的候选技能，反过来又推动下一轮模型进化。这形成正反馈循环，但也带来风险：若某一轮误纳了劣质技能，错误会被放大并污染后续所有轮次。因此筛选机制在协同进化中比在静态蒸馏中更为关键，SGUID 的持续有效性判定正是为这一循环提供稳定锚点。

实验结果：6 个技能匹敌完整技能库

在 Olmo 和 Qwen 两个系列的四个模型上，SGUID 展现出令人意外的效率。蒸馏 6 个精选技能，在四个模型中的三个上，均值 avg@12 已经匹配或超过完整技能库蒸馏的效果。经过第二轮蒸馏 3 个新选技能后，四个模型全部达到或超过完整库水平——而此时完整技能库的规模最多是 SGUID 所选技能的 11 倍。

协同进化循环的稳定性在 Qwen3-8B 上得到验证：第二轮循环选出 3 个新技能后，模型表现从 64.3% 提升到 66.3%。

avg@12 是一种常见的推理评测聚合指标，指对同一批题目让模型采样 12 次，取各题正确率的平均。相比单次贪婪解码（pass@1），avg@12 能降低采样随机性带来的方差，更稳定地反映模型在难题上的真实能力分布。在数学与推理基准（如 HMMT25 等竞赛题）上，由于单次采样波动较大，avg@12 被广泛采用。理解这一指标有助于解读文中「64.3% 提升到 66.3%」这类数字：它代表的是多次采样下的平均正确率变化，几个百分点的提升在竞赛级任务上已属显著，因为这类题目本身难度高、基线正确率有限。

选择机制是稳定性的关键

研究中最具警示意义的发现来自 Qwen3-4B 的对比实验。如果不用 SGUID 过滤，直接用未经筛选的技能更新模型，性能反而下降——在 HMMT25 上掉了 0.3 个百分点。

而 SGUID 的表现截然相反：第一轮后 HMMT25 提升 0.5 个百分点，第二轮后累计提升 1.1 个百分点。这一正一负的对比说明，技能筛选不是锦上添花的优化，而是稳定协同进化的必要机制。没有筛选，模型可能在错误的技能信号上「跑偏」；有了筛选，每一轮迭代都在积累正向收益。

这项研究把「选哪些技能蒸馏」从一个被忽略的细节，提升为决定模型-技能协同进化成败的核心问题。对于正在构建技能库或探索模型持续学习的研究者与工程师而言，SGUID 提供了一个值得借鉴的筛选范式。