概念Diffusion Drafter
扩散草稿模型
将草稿生成建模为扩散去噪过程的模型,可在单次前向中并行产出多个草稿 token,用于加速投机解码,突破了自回归草稿模型逐个生成的限制。
时间轴 (近 90 天)
11月5日
扩散草稿模型训练中,当查询预算固定时,接受长度随上下文规模的增长保持稳定;单纯扩大查询预算带来的质量收益呈现递减。
待验证50%
11月5日
扩散草稿模型能在单次前向中并行去噪多个草稿 token,是加速投机解码的重要路线。
待验证50%
将草稿生成建模为扩散去噪过程的模型,可在单次前向中并行产出多个草稿 token,用于加速投机解码,突破了自回归草稿模型逐个生成的限制。
扩散草稿模型训练中,当查询预算固定时,接受长度随上下文规模的增长保持稳定;单纯扩大查询预算带来的质量收益呈现递减。
扩散草稿模型能在单次前向中并行去噪多个草稿 token,是加速投机解码的重要路线。