概念self-speculative decoding
自我推测解码
推测解码的变体,使用同一模型的不同部分(浅层、中间层或早期循环步骤)作为草稿来源,避免额外草稿模型的显存与部署成本
时间轴 (近 90 天)
11月19日
自我推测解码使用同一模型的不同部分(如浅层、中间层或早期循环步骤)作为草稿来源,无需额外草稿模型。
待验证50%
11月19日
自我推测解码的收益取决于草稿的接受率:草稿越准,端到端加速越明显。
待验证50%
推测解码的变体,使用同一模型的不同部分(浅层、中间层或早期循环步骤)作为草稿来源,避免额外草稿模型的显存与部署成本
自我推测解码使用同一模型的不同部分(如浅层、中间层或早期循环步骤)作为草稿来源,无需额外草稿模型。
自我推测解码的收益取决于草稿的接受率:草稿越准,端到端加速越明显。