自蒸馏
一种特殊的模型蒸馏方式，教师模型与学生模型为同一模型，通过自身不同版本或不同推理路径之间进行知识迁移
核心事实
时间轴 (近 90 天)
自蒸馏策略优化（SDPO）通过反馈条件下的“自教师”为学生模型提供密集的token级监督信号。
现有自蒸馏智能体RL评估存在结构性问题：很多工作直接复用已发表论文中不同实验条件（不同模型规模、训练步数、评估协议）下的基线分数，且多数论文只与自身改进前版本对比，缺乏与同期其他方法的直接比较。
策略内蒸馏（on-policy distillation）让学生模型先自己生成轨迹，再由教师模型对这些路径提供监督信号，从而避免离线数据与学生行为之间的分布偏移。
RISED 引入自蒸馏机制，让模型从自身产生的高质量轨迹中提取监督信号，为无法通过组相对奖励学习的样本提供额外学习来源
自蒸馏（Self-Distillation）省去独立教师模型，让模型向自身历史检查点或当前推理中产生的高质量输出学习
UniEvo-VL 项目提出通过自蒸馏训练让视觉语言模型实现自我改进，减少对外部监督信号的依赖
自蒸馏与传统知识蒸馏的核心区别在于教师和学生可以是同一个模型，或是模型自身在不同训练阶段、不同视角下产生的输出
蒸馏的教师模型不一定比学生模型更大，可以是尺寸相当的领域专家模型
自蒸馏的三种主要方法为自蒸馏微调（SDFT）、自蒸馏偏好优化（SDPO）和在策略自蒸馏
错误信息应写给模型看且必须可操作，指出模型真正犯的错误而非抛出解析器原始报错，可显著提高模型自我纠正成功率
全部知识事实 (11)
错误信息应写给模型看且必须可操作，指出模型真正犯的错误而非抛出解析器原始报错，可显著提高模型自我纠正成功率
75%已验证仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力
70%待验证蒸馏的教师模型不一定比学生模型更大，可以是尺寸相当的领域专家模型
70%待验证自蒸馏策略优化（SDPO）通过反馈条件下的“自教师”为学生模型提供密集的token级监督信号。
50%待验证现有自蒸馏智能体RL评估存在结构性问题：很多工作直接复用已发表论文中不同实验条件（不同模型规模、训练步数、评估协议）下的基线分数，且多数论文只与自身改进前版本对比，缺乏与同期其他方法的直接比较。
50%待验证策略内蒸馏（on-policy distillation）让学生模型先自己生成轨迹，再由教师模型对这些路径提供监督信号，从而避免离线数据与学生行为之间的分布偏移。
50%待验证自蒸馏（Self-Distillation）省去独立教师模型，让模型向自身历史检查点或当前推理中产生的高质量输出学习
50%待验证RISED 引入自蒸馏机制，让模型从自身产生的高质量轨迹中提取监督信号，为无法通过组相对奖励学习的样本提供额外学习来源
50%待验证UniEvo-VL 项目提出通过自蒸馏训练让视觉语言模型实现自我改进，减少对外部监督信号的依赖
50%待验证自蒸馏与传统知识蒸馏的核心区别在于教师和学生可以是同一个模型，或是模型自身在不同训练阶段、不同视角下产生的输出
50%待验证自蒸馏的三种主要方法为自蒸馏微调（SDFT）、自蒸馏偏好优化（SDPO）和在策略自蒸馏
50%