AMTP
一种轻量在线控制器,用于动态选择多Token预测的投机视野,无需重新训练模型即可根据验证反馈学习当前上下文下最优的草拟长度。
时间轴 (近 90 天)
AMTP(自适应多Token预测)是一个轻量控制器,无需重新训练模型,也不改变精确验证器。
AMTP利用接受生存概率来刻画每个视野下预期提交的token数,并选择预期每秒token数最高的视野。
AMTP将视野选择形式化为在线控制问题,通过验证反馈在线学习最优视野。
论文从理论上证明,AMTP的预测误差会转化为相对于每个上下文最佳视野的吞吐遗憾,采用在线梯度下降时该遗憾是次线性的。
在Llama-3.1-8B-Instruct搭配Medusa头、Meta的MTP模型以及Qwen3-4B-Inst-2507-MTP构建的五组草拟-目标配对中,AMTP相比标准解码最高加速4.1倍。
在AIME 2025和GSM8K评估中,AMTP在10个设置中有8个匹配或超过固定窗口方法,吞吐增益最高达10%。
AMTP保持验证器不变,兼容现有精确验证流程,降低了部署门槛。
全部知识事实 (7)
AMTP(自适应多Token预测)是一个轻量控制器,无需重新训练模型,也不改变精确验证器。
50%待验证AMTP利用接受生存概率来刻画每个视野下预期提交的token数,并选择预期每秒token数最高的视野。
50%待验证AMTP将视野选择形式化为在线控制问题,通过验证反馈在线学习最优视野。
50%待验证论文从理论上证明,AMTP的预测误差会转化为相对于每个上下文最佳视野的吞吐遗憾,采用在线梯度下降时该遗憾是次线性的。
50%待验证在Llama-3.1-8B-Instruct搭配Medusa头、Meta的MTP模型以及Qwen3-4B-Inst-2507-MTP构建的五组草拟-目标配对中,AMTP相比标准解码最高加速4.1倍。
50%待验证在AIME 2025和GSM8K评估中,AMTP在10个设置中有8个匹配或超过固定窗口方法,吞吐增益最高达10%。
50%待验证AMTP保持验证器不变,兼容现有精确验证流程,降低了部署门槛。
50%