概念response-length inflation
响应长度膨胀
学生在蒸馏过程中输出长度持续增长的现象,因逐token反向KL奖励学生模仿教师冗长风格,导致平均响应长度上升,推高rollout阶段FLOPs与推理延迟
时间轴 (近 90 天)
11月6日
OPD在外部教师场景下经常出现响应长度膨胀问题,导致推理成本升高。
待验证50%
11月6日
外部教师蒸馏需谨慎评估响应长度膨胀带来的隐性成本。
待验证50%
学生在蒸馏过程中输出长度持续增长的现象,因逐token反向KL奖励学生模仿教师冗长风格,导致平均响应长度上升,推高rollout阶段FLOPs与推理延迟
OPD在外部教师场景下经常出现响应长度膨胀问题,导致推理成本升高。
外部教师蒸馏需谨慎评估响应长度膨胀带来的隐性成本。