[控场AI]
概念response-length inflation

响应长度膨胀

学生在蒸馏过程中输出长度持续增长的现象,因逐token反向KL奖励学生模仿教师冗长风格,导致平均响应长度上升,推高rollout阶段FLOPs与推理延迟

时间轴 (近 90 天)

11月6日

OPD在外部教师场景下经常出现响应长度膨胀问题,导致推理成本升高。

待验证50%
11月6日

外部教师蒸馏需谨慎评估响应长度膨胀带来的隐性成本。

待验证50%

全部知识事实 (2)

来源文章