Skill++:路由感知技能精炼,破解终身智能体路由干扰

Skill++ 通过重写新技能元数据,无需训练即可缓解终身智能体中的路由干扰。
大型语言模型智能体通过技能库扩展能力,路由器仅凭技能名称和描述选择技能。随着技能库增长,相似新技能可能在元数据层面取代旧技能,造成“路由干扰”,即使旧技能与路由器均未改变。该研究将其形式化为终身技能路由,即类增量持续学习问题。现有持续重训练路由器易致灾难性遗忘,重写方法则忽略相似性或依赖逐技能反馈。Skill++ 仅重写每个新技能的名称和描述,强调技能体支持什么、与最接近前身的差异以及排除的相关工作。在731个技能库上,Skill++ 使76.3%的查询选中所有必需技能,原始元数据仅36.4%,并在三个基准和五种路由器上均优于对比方法。
大型语言模型(LLM)智能体通过技能扩展能力,每个技能包含名称、描述和技能体。在渐进式披露机制下,LLM 路由器仅依据名称和描述选择技能,并只加载被选中技能的技能体。随着用户和智能体不断添加新技能,技能库持续增长。由于路由器依赖这些元数据,一个相似的新技能可能取代先前的技能,破坏原本正确的路由——即使先前的技能和路由器本身都未改变。这种路由干扰在公开技能上更为严重,因为其描述可能与技能体不匹配。
来自《Skill++: Towards Lifelong Agents via Routing-Aware Skill Refinement》的研究将这一问题形式化为终身技能路由,即一类类增量持续学习问题。解决方案必须保持旧技能可被选择,同时不压制新技能。现有方法存在不足:持续重训练路由器可能导致灾难性遗忘,而重写方法要么忽略相似技能,要么需要针对每个技能的反馈。为此,研究人员提出 Skill++,仅重写每个新进技能的名称和描述,无需训练路由器或标注数据。新描述会阐明技能体支持什么、该技能与最接近的前身有何不同,以及它排除了哪些相关工作。

路由干扰:终身学习的隐形陷阱
技能库的持续增长是智能体进化的标志,但也埋下了隐患。由于路由器仅凭技能名称和描述做决策,当新技能与旧技能在元数据层面高度相似时,路由器可能错误地将本应路由到旧技能的查询分配给新技能,导致旧技能“被消失”。这种干扰并非因为旧技能损坏或路由器退化,而是元数据层面的竞争。尤其对于公开技能,其描述往往由社区贡献,可能与技能体实际功能存在偏差,进一步放大了路由干扰的风险。
研究者将这一场景建模为类增量持续学习问题:每个新技能相当于一个新类别,路由器需要在不断扩展的技能空间中保持对所有类别的可选择性。核心挑战在于,既要让新技能可被路由,又不能以牺牲旧技能为代价。
**类增量持续学习(class-incremental continual learning)**是持续学习的一种设定:模型按顺序学习一系列任务,每个任务引入新类别,且学习新任务时无法访问旧任务的数据。与允许多任务数据混合的联合训练不同,类增量学习要求模型在每一步只见到当前任务的数据,同时保持对所有已学类别的判别能力。评价指标通常包括最终模型在全部类别上的平均准确率,以及“回退”(backward transfer)程度,即旧类别性能相对其初次学习后的下降幅度。在技能路由场景中,每个新技能相当于一个新类别,路由器需在扩展的技能空间中维持对所有类别的可选择性,因此路由干扰与类增量学习中的灾难性遗忘在问题结构上同源。
现有方案的局限
面对路由干扰,已有两类思路但均不理想。一类是持续重训练路由器,使其适应不断增长的技能库。然而,重训练容易引发灾难性遗忘——模型在适应新技能时丢失对旧技能的识别能力。另一类是重写技能描述以增强区分度,但现有重写方法要么忽略相似技能之间的微妙差异,要么依赖针对每个技能的反馈信号,难以规模化。
Skill++ 的出发点正是绕开这些陷阱:不训练路由器,不依赖标注数据,仅通过精炼新进技能的元数据来缓解干扰。
**灾难性遗忘(catastrophic forgetting)**指神经网络在按顺序学习新任务时,参数更新会覆盖先前任务所依赖的表征,导致旧任务性能急剧下降。在持续重训练路由器的情境中,路由器为适应新技能而调整参数,可能稀释对旧技能名称与描述的特征记忆,使原本正确的路由决策失效。缓解灾难性遗忘的经典思路包括弹性权重巩固(EWC,通过惩罚对旧任务重要的参数变动)、经验回放(保留旧数据样本混合训练)和参数隔离(为不同任务分配独立子网络)。但这些方法要么需要存储旧技能的训练样本,要么引入额外的正则化计算,在技能库持续增长且无标注反馈的智能体场景中难以直接套用。
Skill++ 的核心机制:三要素描述重写
Skill++ 的操作很简洁:对每个新进入技能库的技能,重写其名称和描述,而不改动技能体。新描述必须包含三个要素:
- 技能体支持什么:明确描述技能的实际功能范围,减少描述与技能体不匹配的问题。
- 与最接近前身的差异:指出该技能与技能库中最相似的旧技能有何不同,帮助路由器区分二者。
- 排除了哪些相关工作:主动声明该技能不覆盖哪些相邻领域,避免路由器将其误用于不相关查询。
这种“路由感知”的重写策略,本质上是为新技能构建一个更具辨识度的元数据指纹,使其在路由器眼中与旧技能形成清晰边界。由于无需训练,Skill++ 可以轻量地集成到现有智能体框架中。
**元数据(metadata)**在技能路由语境中特指技能的“名称”和“描述”这两个字段,它们与包含具体实现或指令的“技能体”相区分。路由器在做选择时只读取元数据,技能体仅在选中后才被加载,这种渐进式披露设计降低了上下文开销。元数据的质量因此直接决定路由的信噪比:描述若能准确反映技能体功能并与其他技能形成区分,路由器就更容易做出正确选择;反之,模糊或重叠的描述会造成相似技能间的竞争。Skill++ 不修改技能体而只精炼元数据,正是利用了元数据作为路由唯一输入这一结构特点,以最小的改动影响路由决策。
实验表现:大幅提升路由成功率
研究者在一个增长至 731 个技能、跨越十个会话的技能库上评估 Skill++。结果显示,Skill++ 能为 76.3% 的查询选中所有必需技能,而原始元数据下这一比例仅为 36.4%,提升超过一倍。在三个基准测试和五种 LLM 路由器上,Skill++ 均优于所有对比方法,且其增益可迁移至 Codex CLI 智能体框架。
有意思的是,这一提升是在不训练路由器、不使用标注数据的条件下实现的,凸显了元数据精炼在持续学习场景中的杠杆效应。
对终身智能体的启示
Skill++ 揭示了一个重要方向:智能体的终身学习不仅关乎模型参数更新,也关乎技能库的元数据治理。随着技能数量增长,路由干扰会成为制约智能体可靠性的瓶颈。通过路由感知的技能精炼,可以在不触动模型内部的情况下维持技能库的可选择性,这为构建可扩展、可持续进化的智能体提供了新思路。未来,如何自动化生成高质量的三要素描述、如何处理技能体与描述之间的动态一致性,仍是值得探索的问题。
相关推荐

Claude Sonnet 6疑泄露,Anthropic内部模型加速惊人
Anthropic疑似泄露Sonnet 6,Meter报告称其AI研发加速1.9倍;OpenAI发布GPT-6 Cyber,GPT-6.2 Astra或将至;Google Gemini Omni 1.2 Flash登顶视频生成榜;Meta stealth模型与实时头像亮相;市场波动下Google仍投170亿美元建数据中心。

科幻小说对AI的预测有多准?
科幻小说对AI的预测有多准?本文结合Hacker News讨论,分析科幻作品在AI发展中的远见与盲区,探讨其真正价值在于启发思考而非精准预测。

SwarmEvolve:潜空间智能体集群加速进化搜索
SwarmEvolve框架让数百个低成本智能体在潜空间中集群推理,通过KV缓存共享信息,在数学发现和科学计算问题上实现快速进化搜索,中位数仅3-8分钟达到其他框架60分钟的最佳分数。