自适应多Token预测：推理加速的投机视野如何动态调整？

多Token预测（Multi-Token Prediction, MTP）能通过一次目标模型前向传播草拟并验证多个token，显著加速语言模型解码。但一个关键矛盾在于：最佳的投机视野（horizon）随上下文变化。草拟更长时，若可靠性高，分摊成本更低；但若被拒绝，后续计算就白费了。与自回归草拟可以逐token停止不同，MTP必须在草拟前固定视野，因为所有头都在同一次前向中触发。如何动态选择视野，成为提升MTP实用效率的核心问题。

为什么固定视野不是最优解

MTP的加速原理是“草拟-验证”：用轻量头一次性预测多个未来token，再由目标模型并行验证。若草拟的token被接受，解码步数减少；若被拒绝，则浪费了草拟计算。视野越长，潜在收益越大，但拒绝风险也越高。原文指出，最佳视野随上下文变化——有些上下文草拟很可靠，适合长视野；有些则容易失败，短视野更经济。固定视野无法适应这种变化，导致部分场景下计算浪费或加速不足。

投机解码（Speculative Decoding） 是理解MTP加速原理的背景框架。标准自回归解码每步只生成一个token，需完整调用大模型一次，延迟高。投机解码引入一个轻量草拟模型（或草拟头）先快速生成多个候选token，再由目标模型一次前向并行验证这些候选：若验证通过则一次性接受多个token，否则回退到第一个被拒绝的位置。其加速来源于验证阶段可并行处理多个候选，而草拟成本远低于目标模型。MTP本质上是投机解码的一种变体，区别在于草拟头与目标模型共享主干或内置于模型，且所有头在同一次前向中触发，因此无法像独立草拟模型那样逐token动态停止，必须预先固定草拟视野。

AMTP：将视野选择建模为在线控制问题

论文提出自适应多Token预测（Adaptive Multi-Token Prediction, AMTP），将视野选择形式化为在线控制问题。核心是利用验证反馈学习当前上下文下草拟可被信任的程度。AMTP是一个轻量控制器，无需重新训练模型，也不改变精确验证器。它通过“接受生存概率”（acceptance survival）——草拟前缀被完全接受的概率——来刻画每个视野下预期提交的token数。每轮开始前，AMTP预测草拟可能存活多远，并选择预期每秒token数最高的视野，从每次验证中免费学习。

在线控制问题（Online Control） 指决策者在不预知未来环境的情况下，根据历史反馈逐步调整策略的一类序贯决策框架，与经典控制论中已知系统模型的最优控制不同，它强调边学习边决策。AMTP将每轮草拟前的视野选择视为一次在线决策：控制器观测当前上下文特征，预测不同视野下的预期收益，选择后从验证结果中获得反馈并更新。由于上下文分布未知且随输入变化，无法离线求出全局最优视野，在线控制框架允许系统在解码过程中持续逼近每个上下文的最优策略，这正是“无需预知上下文”的理论基础。

理论保证：预测误差转化为吞吐遗憾

论文从理论上证明，任何在线学习器的预测误差都会转化为相对于每个上下文最佳视野的吞吐遗憾（throughput regret），进而转化为墙钟完成时间的界限。采用在线梯度下降时，该遗憾是次线性的。这意味着随着解码进行，AMTP能逐渐逼近最优视野策略，而无需预知上下文。

遗憾（Regret） 是在线学习中的核心度量，指在线策略累计收益与“每步事后最优决策”累计收益之差。若遗憾随步数T增长为o(T)，即平均遗憾趋于零，则称策略具有次线性遗憾，意味着长期来看在线策略可逼近最优固定策略。本文的吞吐遗憾将每步收益定义为每秒提交token数，衡量AMTP相对每个上下文最佳视野的吞吐损失。在线梯度下降等算法在凸或近似凸假设下可保证O(√T)遗憾，从而将预测误差转化为墙钟完成时间上界，为AMTP的收敛性提供形式化依据。

实验效果：最高4.1倍加速，多数场景优于固定窗口

在Llama-3.1-8B-Instruct搭配Medusa头、Meta的MTP模型以及Qwen3-4B-Inst-2507-MTP构建的五组草拟-目标配对中，于AIME 2025和GSM8K上评估，AMTP相比标准解码最高加速4.1倍，在10个设置中有8个匹配或超过固定窗口，吞吐增益最高达10%。这些结果说明，动态视野选择能在不牺牲验证准确性的前提下，进一步释放MTP的加速潜力。

对推理加速实践的启示

AMTP的价值在于它把“草拟多远”从超参数变成了可在线学习的决策。对于部署MTP的团队，这意味着无需为不同任务手动调优视野，系统能根据实时验证反馈自适应。同时，AMTP保持验证器不变，兼容现有精确验证流程，降低了落地门槛。未来，这种在线控制思路或可扩展到其他投机解码变体，让加速策略更智能地匹配上下文。