概念
随机视野
一种训练策略,每次训练批次随机采样一个共享的响应长度上限(horizon),只对视野内的token施加监督,以减少冗余计算。
时间轴 (近 90 天)
11月17日
Stochastic Horizons On-Policy Distillation(SH-OPD)是一种改进的 on-policy 蒸馏方法,其核心思路是随机变化 rollout 的视野长度,在保留对深层响应状态访问的同时减少对冗余位置的监督。
待验证50%
一种训练策略,每次训练批次随机采样一个共享的响应长度上限(horizon),只对视野内的token施加监督,以减少冗余计算。
Stochastic Horizons On-Policy Distillation(SH-OPD)是一种改进的 on-policy 蒸馏方法,其核心思路是随机变化 rollout 的视野长度,在保留对深层响应状态访问的同时减少对冗余位置的监督。