[控场AI]
模型Stochastic Horizons On-Policy Distillation

SH-OPD

一种改进的在线策略蒸馏方法,通过批次级随机采样共享的视野上限来减少冗余监督,提升计算效率。

时间轴 (近 90 天)

11月17日

Stochastic Horizons On-Policy Distillation(SH-OPD)是一种改进的 on-policy 蒸馏方法,其核心思路是随机变化 rollout 的视野长度,在保留对深层响应状态访问的同时减少对冗余位置的监督。

待验证50%
11月17日

SH-OPD 为每个训练批次采样一个共享的视野上限,而非对每条序列单独调度,从而支持高效并行生成并避免逐序列 horizon 调度的开销。

待验证50%
11月17日

随机视野会引入重加权偏差:不同视野下各 token 被纳入监督的概率不同,简单平均会导致梯度估计偏离全轨迹监督的目标;作者刻画了该偏差并推导了计算量与重加权之间的权衡关系。

待验证50%
11月17日

在数学推理任务上,SH-OPD 在约 45% 的单次更新成本下取得了略高于基线的数学推理准确率。

待验证50%
11月17日

在代码生成任务上,SH-OPD 在约 60% 的基线成本下保持了有竞争力的代码生成性能。

待验证50%
11月17日

将监督预算更智能地分配到响应深度上,比一味拉长轨迹更划算,这一结论对需要大量 rollout 的 on-policy 训练场景具有直接的工程价值。

待验证50%
11月17日

SH-OPD 的有效性目前主要在数学推理与代码生成任务上得到验证,向更开放域任务的迁移仍需进一步观察。

待验证50%

全部知识事实 (7)

来源文章