概念Self-Speculative Decoding
自推测解码
一种在单个模型内利用流的草稿进行自回归验证的推测解码方案，无需独立草稿模型，可显著提升吞吐量。
时间轴 (近 90 天)
10月21日
Lafa设计了一种自推测解码方案，在单个模型内用基于流的草稿进行自回归验证，无需额外的草稿模型参数或内存开销。
待验证50%
10月21日
在可比质量下，Lafa的自推测解码方案实现了自回归模型2.54倍的吞吐量，优于多token预测和离散扩散方法。
待验证50%
一种在单个模型内利用流的草稿进行自回归验证的推测解码方案，无需独立草稿模型，可显著提升吞吐量。
Lafa设计了一种自推测解码方案，在单个模型内用基于流的草稿进行自回归验证，无需额外的草稿模型参数或内存开销。
在可比质量下，Lafa的自推测解码方案实现了自回归模型2.54倍的吞吐量，优于多token预测和离散扩散方法。