#自蒸馏

共 3 篇相关文章

APSD提出正确性依赖的非对称自蒸馏目标：正确rollout用插值保留成功行为，错误rollout用外推强化纠正，在Qwen3模型上以2.6倍更少训练步数达到SDPO性能。

SpatialOPSD 通过自蒸馏将特权深度信息内化到 RGB 单次前向推理，在 Qwen3.5‑9B 上把准确率从 45.9 提升到 51.9，保留教师模型 91% 性能，同时消除外部工具调用的运行时开销，优于 SFT 与 GRPO。

UniEvo-VL 提出用自蒸馏训练实现多模态模型的自我改进。本文解读自蒸馏在视觉语言模型中的工作机制、潜力与局限，探讨这一自我进化路线能否破解图文数据标注瓶颈。