SH-OPD
一种改进的在线策略蒸馏方法,通过批次级随机采样共享的视野上限来减少冗余监督,提升计算效率。
时间轴 (近 90 天)
Stochastic Horizons On-Policy Distillation(SH-OPD)是一种改进的 on-policy 蒸馏方法,其核心思路是随机变化 rollout 的视野长度,在保留对深层响应状态访问的同时减少对冗余位置的监督。
SH-OPD 为每个训练批次采样一个共享的视野上限,而非对每条序列单独调度,从而支持高效并行生成并避免逐序列 horizon 调度的开销。
随机视野会引入重加权偏差:不同视野下各 token 被纳入监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督的目标;作者刻画了该偏差并推导了计算量与重加权之间的权衡关系。
在数学推理任务上,SH-OPD 在约 45% 的单次更新成本下取得了略高于基线的数学推理准确率。
在代码生成任务上,SH-OPD 在约 60% 的基线成本下保持了有竞争力的代码生成性能。
将监督预算更智能地分配到响应深度上,比一味拉长轨迹更划算,这一结论对需要大量 rollout 的 on-policy 训练场景具有直接的工程价值。
SH-OPD 的有效性目前主要在数学推理与代码生成任务上得到验证,向更开放域任务的迁移仍需进一步观察。
全部知识事实 (7)
Stochastic Horizons On-Policy Distillation(SH-OPD)是一种改进的 on-policy 蒸馏方法,其核心思路是随机变化 rollout 的视野长度,在保留对深层响应状态访问的同时减少对冗余位置的监督。
50%待验证SH-OPD 为每个训练批次采样一个共享的视野上限,而非对每条序列单独调度,从而支持高效并行生成并避免逐序列 horizon 调度的开销。
50%待验证随机视野会引入重加权偏差:不同视野下各 token 被纳入监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督的目标;作者刻画了该偏差并推导了计算量与重加权之间的权衡关系。
50%待验证在数学推理任务上,SH-OPD 在约 45% 的单次更新成本下取得了略高于基线的数学推理准确率。
50%待验证在代码生成任务上,SH-OPD 在约 60% 的基线成本下保持了有竞争力的代码生成性能。
50%待验证将监督预算更智能地分配到响应深度上,比一味拉长轨迹更划算,这一结论对需要大量 rollout 的 on-policy 训练场景具有直接的工程价值。
50%待验证SH-OPD 的有效性目前主要在数学推理与代码生成任务上得到验证,向更开放域任务的迁移仍需进一步观察。
50%