MDSKILL：多视图蒸馏让智能体技能记忆真正内化

自进化智能体（self-evolving agent）是当前AI研究的热点方向之一。这类智能体通过与环境交互积累经验，并利用这些经验持续改进自身策略。然而，如何高效地将过去的经验「内化」到模型参数中，而不是仅仅依赖外部提示词，一直是个难题。最近一篇题为《MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution》的论文提出了一种多视图蒸馏方案，试图解决技能记忆内化过程中的噪声与纠缠问题。

技能记忆内化的痛点：噪声、冗余与冲突

技能记忆通常以文本提示（textual prompts）的形式存储过往经验，用以增强强化学习（RL）的训练效果。但论文指出，这类自生成记忆往往包含噪声监督信号，并且知识之间在功能上相互纠缠、冗余甚至冲突。在有限的训练预算下，直接对这类记忆进行蒸馏不仅难以实现知识内化，还可能导致性能下降。

这一判断切中了当前智能体自演化流程中的关键瓶颈。过去常见的做法是把技能记忆拼接到上下文里，靠提示词引导行为，但这种方式对模型内部的策略更新帮助有限。而On-Policy Self-Distillation（OPSD）虽然能提供密集、细粒度的监督信号，却对记忆质量高度敏感——这正是MDSKILL试图解决的入口。

On-Policy Self-Distillation (OPSD) 是一种自蒸馏变体：学生模型与教师模型为同一模型，教师信号来自模型在自身当前策略采样出的轨迹上的“更优”行为（例如不同推理分支或不同视图下的输出）。由于监督信号来自模型自身、且对同一条 on-policy 轨迹给出逐 token 或逐步骤的密集反馈，OPSD 比稀疏的 RL 奖励信号更细粒度，也更贴近模型当前的分布。代价是它高度依赖“教师信号”的质量——如果自生成的技能记忆本身含噪或自相矛盾，蒸馏就会把错误知识固化进参数，甚至覆盖原本正确的策略，这也是论文强调必须先对记忆做结构化清洗与拆分的原因。

三视图拆解：把纠缠的技能记忆理清楚

MDSKILL的核心思路是将技能记忆按功能拆分为三个互补视图：

• 状态感知（state grounding）：帮助智能体理解当前所处的环境状态；
• 动作规划（action planning）：指导下一步该采取什么行动；
• 执行控制（execution control）：约束动作的执行方式与细节。

在拆分的基础上，MDSKILL使用动态指标筛选高质量技能，构建视图专属的推理分支以及一个整合推理分支。随后，OPSD在这些分支之间迁移并巩固互补的经验知识，将其汇总到一个共享策略中。这样一来，不同视图的知识不再是混在一起的噪声，而是变成了可被分别蒸馏、再合并的结构化经验。

据论文描述，这种设计使得智能体能够在没有更强外部教师模型的情况下完成技能内化与持续自演化。换言之，蒸馏的监督信号来自智能体自身在不同视图下的表现，而非依赖额外的大模型指导。

技能记忆（skill memory） 通常指智能体在多次任务回合中积累的、以自然语言形式保存的可复用经验条目，例如“看到冰箱时先检查是否有目标物体”“在购物网站先筛选再比价”。与普通上下文示例不同，技能记忆是跨回合、跨任务持续写入与检索的外部知识库，常见实现包括向量检索的经验池或按任务类型组织的提示库。它的优势是无需训练即可更新，缺点是条目由模型自生成，质量参差不齐、彼此重叠甚至矛盾；随着条目增多，拼接进上下文的长度与噪声也随之上升。MDSKILL 的出发点正是：与其不断往上下文里塞记忆，不如把这些记忆蒸馏进策略参数，让模型“记住”而非“查表”。

实验表现：ALFWorld与WebShop上的提升

论文在三个智能体基准上评估了MDSKILL，对比对象包括纯RL方法、技能增强方法以及不依赖更强外部教师模型的自蒸馏基线。结果显示，在不增加额外计算开销的前提下，MDSKILL在ALFWorld和WebShop上分别将SOTA性能提升了最高7.1%和8.1%。

这两个基准分别对应具身家务任务和在线购物环境，对状态理解、多步规划与执行细节都有较高要求，恰好对应MDSKILL的三视图设计。论文还通过大量消融实验和演化分析，进一步验证了该方法在知识内化与策略改进方面的有效性。代码已在匿名仓库公开（anonymous.4open.science/r/MDSKILL-CF53），供社区复现与检验。

ALFWorld 是面向具身家务任务的文本化基准：智能体在模拟住宅中通过文本指令移动、检索容器、操作物体（如“把干净的杯子放进微波炉”），需要长程多步规划与状态跟踪。WebShop 则模拟在线购物环境，智能体需根据用户需求在商品页面上搜索、筛选属性、比较价格并完成下单，考验细粒度指令理解与动作序列控制。两者都以任务成功率为主要指标，且动作空间离散、回合较长，正好分别对应“状态感知+执行控制”和“动作规划+执行控制”的组合压力，因此常被用作检验技能记忆与规划方法是否真正内化的试金石。

为什么值得关注：自演化的效率路线

MDSKILL的意义不止于两个基准上的数字提升。它提出了一条更「轻」的自演化路径：不依赖更强的外部教师，也不需要额外算力，而是通过重新组织已有技能记忆的结构来提升蒸馏效率。对于希望在有限训练预算下部署自进化智能体的团队来说，这种思路具备直接的工程参考价值。

当然，三视图的划分方式是否适用于更多类型的任务、动态筛选指标在更复杂环境中的稳定性如何，仍有待后续工作验证。但就目前公开的实验结果看，MDSKILL为技能记忆内化提供了一个结构清晰、可复现的解决框架。