Speculative Forcing：自回归视频生成推理加速新框架

自回归视频生成的效率困境

自回归视频生成模型正在改变我们创建动态内容的方式。通过逐token生成的方式，这类模型能够实现流式视频合成，让实时内容创作成为可能。然而，效率问题始终是悬在头顶的达摩克利斯之剑。

当前的主流方案采用少步（few-step）自回归生成器来加速推理，但即便如此，每个token仍然需要完整地通过最终去噪步骤，无论它实际需要多少精炼。这种"一刀切"的计算模式造成了大量不必要的算力浪费。

来自rss来源的研究《Speculative Forcing for Efficient Autoregressive Video Generation》揭示了一个关键观察：许多token在初始步骤就已经非常接近其最终的全步输出，只有部分token需要持续精炼到最后一刻。这意味着均匀计算策略存在巨大的优化空间。

什么是自回归视频生成？

自回归（autoregressive）生成的核心思想源于语言模型：把一段内容拆解为序列，每次只预测下一个单元，并将已生成的单元作为条件继续预测。在视频生成中，这个"单元"通常是经过时空压缩后的视觉token——一种由VQ-VAE或类似编码器把视频帧块量化得到的离散或连续表示。相比一次性去噪出整段视频的扩散模型，自回归方式天然支持流式合成：可以在用户等待时边生成边播放，也能对超长视频保持相对恒定的显存占用。代价是推理必须按顺序进行，无法像图像扩散那样对全部token并行去噪，因此每个token的计算开销会直接累积成延迟瓶颈。这正是"效率困境"的根源所在。

Speculative Forcing的核心机制

将中间估计视为"草稿"

研究团队提出的Speculative Forcing框架，核心思想是将去噪过程中的中间清晰估计视为"草稿"（draft），并预测哪些token可以被安全地提前接受。

一旦某个token被接受，它就会被冻结为最终输出，不再参与后续去噪计算。另一边，它的缓存键值（cached keys and values）仍然作为上下文供剩余token使用。这种设计既节省了计算，又保持了生成质量。

少步生成与去噪步骤

扩散或流匹配类生成模型通常需要几十步迭代去噪才能得到清晰结果。少步（few-step）方法通过蒸馏、一致性模型或对抗训练，把这一过程压缩到2至4步，使单次生成在可接受的延迟内完成。不过，少步并不等于"每步都必要"：在具体采样时，不同token收敛速度差异很大，有的在第一步就已定型，有的要到最后一步才稳定。Speculative Forcing正是在少步生成器的基础上再加一层自适应裁剪——把"必须走完的步数"从固定值变成按token动态决定的值，理论上可将平均步数压到远低于设定上限。理解这一点，才能明白它为何能在保持四步质量的同时把均值降到约1.7步。

两种验证器设计路径

研究探索了两种不同的验证器（verifier）实现方案：

无需训练的验证器：基于token与清晰内容的相似度以及跨步骤的稳定性来判断。如果某个token在多个步骤间保持稳定，且与清晰内容足够接近，就可以被提前接受。

学习型验证器：读取冻结生成器的中间特征，估计每个token距离其全步输出的剩余差距。这种方法能够更精确地预测哪些token已经"成熟"。

什么是验证器（verifier）？

在投机式生成框架中，验证器负责回答一个判断问题："这个token现在可以定稿了吗？"它不参与生成本身，只评估当前中间结果的成熟度。无需训练的验证器依赖手工设计的启发式指标，例如token表示在连续步骤间的变化幅度、与当前清晰估计的相似度；优点是零额外参数、即插即用。学习型验证器则训练一个小型网络，读取冻结生成器的中间层特征，直接回归该token距离最终全步输出的误差。两者构成精度与成本之间的权衡：前者更快但判断较粗，后者更准但需要额外训练数据和推理开销。验证器的判断质量直接决定加速比与画质损失，是整个框架的关键部件。

多场景验证的实测表现

短视频与长视频生成

在LongLive基准测试中，Speculative Forcing交出了亮眼的成绩单。它能够匹配四步生成器的质量，但平均每个token仅需约1.7个去噪步骤，运行速度提升超过1.5倍，达到41.7和37.8 fps的生成帧率。

这意味着在保持视觉质量的前提下，推理效率获得了实质性提升。对于需要实时生成视频的应用场景而言，这样的加速比具有重要的实用价值。

世界模型生成

在Lingbot-World 2.0上的测试更具挑战性——相机运动持续改变可见内容，对生成模型提出了更高的动态适应要求。在这一场景下，Speculative Forcing仍然保持了质量，平均每个token约2.5个去噪步骤，运行速度提升1.35倍，达到24.5 fps。

你可能没注意到，世界生成场景中每个token所需的平均步骤更高（2.5 vs 1.7），这反映了动态内容对精炼程度的更高要求。但即便如此，框架仍然找到了显著的优化空间。

对视频生成领域的启示

Speculative Forcing的价值不仅在于具体的加速数字，更在于它揭示了一个重要的设计原则：并非所有token都需要同等程度的计算投入。

这一思路与自然语言处理中的投机解码（speculative decoding）有异曲同工之妙，但针对视频生成的时空特性做了专门设计。通过将token的"成熟度"作为计算分配的依据，模型能够将算力集中在真正需要精炼的部分。

从工程角度看，缓存键值的保留策略也值得关注。被接受的token虽然不再参与去噪，但其键值仍然作为上下文——这意味着早期接受决策不会破坏后续token的生成条件。

随着视频生成模型向更长时长、更高分辨率发展，推理效率的重要性只会与日俱增。Speculative Forcing提供的自适应计算分配思路，可能成为未来视频生成系统的重要组件。

对于关注AI视频生成效率的研究者和工程师而言，这一框架的核心洞见——让每个token按需计算——值得在更多架构和任务中进行验证和拓展。

投机解码的类比

投机解码（speculative decoding）是自然语言处理中成熟的加速技术：先由一个小而快的草稿模型并行猜出若干token，再由大模型一次性验证，接受正确的部分、拒绝错误的部分。它把"逐token串行"变成"批量猜测加验证"，在输出分布不变的前提下提升吞吐。Speculative Forcing借用了这一"先草稿、后验证"的思想骨架，但面对的对象不同——视频token的"正确性"不是与目标分布比对，而是与自身全步输出的收敛程度比对；且接受后的token仍以键值形式留在上下文中。这种改造使其适用于时空连贯性要求更高的视频生成任务，也解释了为何世界模型场景需要更保守的接受策略。