概念schedule distillation
调度蒸馏
调度蒸馏是一种模型训练技术，将预先离线构造的高质量解码轨迹（如解除掩码顺序）作为'教师'，让模型在训练中模仿该轨迹对应的并行采样行为，从而将推理时的调度搜索内化为模型能力。
时间轴 (近 90 天)
10月27日
来自 VILA-Lab 的研究提出了 dSpark，一个基于调度蒸馏（schedule distillation）的框架，用于优化扩散语言模型的解码顺序。
待验证50%
10月27日
调度蒸馏需要额外的离线构造和蒸馏成本。
待验证50%
10月27日
调度蒸馏在更大模型和更多任务上的泛化性还有待社区进一步验证。
待验证50%