概念Parallel Block Drafting
并行块草稿
投机解码的一种变体,让草稿模型一次前向就输出多个未来位置的预测,而非自回归逐个生成,从而提升草稿效率。
时间轴 (近 90 天)
11月6日
HyFlash是一种用于端侧投机解码的紧凑并行草稿模型,核心设计是引入前缀记忆先验,将长程上下文建模与细粒度草稿位置交互解耦。
待验证50%
11月6日
并行块草稿让草稿模型一次前向就输出多个位置的预测,而非自回归地逐个生成,从而提升草稿效率。
待验证50%
投机解码的一种变体,让草稿模型一次前向就输出多个未来位置的预测,而非自回归逐个生成,从而提升草稿效率。
HyFlash是一种用于端侧投机解码的紧凑并行草稿模型,核心设计是引入前缀记忆先验,将长程上下文建模与细粒度草稿位置交互解耦。
并行块草稿让草稿模型一次前向就输出多个位置的预测,而非自回归地逐个生成,从而提升草稿效率。