[控场AI]
概念self-speculative decoding

自我推测解码

推测解码的变体,使用同一模型的不同部分(浅层、中间层或早期循环步骤)作为草稿来源,避免额外草稿模型的显存与部署成本

时间轴 (近 90 天)

11月19日

自我推测解码使用同一模型的不同部分(如浅层、中间层或早期循环步骤)作为草稿来源,无需额外草稿模型。

待验证50%
11月19日

自我推测解码的收益取决于草稿的接受率:草稿越准,端到端加速越明显。

待验证50%

全部知识事实 (2)

来源文章