BitMTP
一种将多Token预测（MTP）与超低比特量化骨干联合设计的LLM加速方法，单模型同时支持自回归生成与块因果起草，配合接受前缀对齐与CUDA Graph复用实现投机解码加速
时间轴 (近 90 天)
BitMTP由PolyU-VCLab研究团队提出，核心机制是联合的下一Token预测与多Token预测（MTP）目标，使单个模型同时具备自回归生成与块因果起草能力，无需额外维护独立的草稿模型。
BitMTP提供三种可选解码模式：置信度驱动解码、投机解码与混合解码，对应不同的质量-吞吐权衡点。
BitMTP引入接受前缀对齐（accepted-prefix alignment）机制，要求已提交前缀、物化的因果KV边界与CUDA Graph重放状态三者保持一致，以处理投机解码中部分接受的中间态。
BitMTP实现宽度特化的低比特执行，针对不同批量或序列宽度选用合适的低比特内核，并在共享KV存储之上复用已捕获的计算图。
论文评测显示，在NVIDIA H20上采用混合解码时，BitMTP在BitNet b1.58-2B上取得五任务平均2.2倍加速，在1.7B至4B的Bonsai系列模型上为2.1至2.4倍，且任务质量相当。
论文评测显示，在RTX 3090与Jetson Orin上，BitMTP五任务平均吞吐提升最高达2.0倍，MBPP+单项达到3.3倍。
BitMTP的源码已开放在GitHub的PolyU-VCLab/BitMTP仓库。
论文给出的加速比均在特定模型与任务组合下测得，实际业务收益需结合自身负载评估。
全部知识事实 (8)
论文给出的加速比均在特定模型与任务组合下测得，实际业务收益需结合自身负载评估。
50%待验证BitMTP提供三种可选解码模式：置信度驱动解码、投机解码与混合解码，对应不同的质量-吞吐权衡点。
50%待验证BitMTP引入接受前缀对齐（accepted-prefix alignment）机制，要求已提交前缀、物化的因果KV边界与CUDA Graph重放状态三者保持一致，以处理投机解码中部分接受的中间态。
50%待验证BitMTP实现宽度特化的低比特执行，针对不同批量或序列宽度选用合适的低比特内核，并在共享KV存储之上复用已捕获的计算图。
50%待验证论文评测显示，在NVIDIA H20上采用混合解码时，BitMTP在BitNet b1.58-2B上取得五任务平均2.2倍加速，在1.7B至4B的Bonsai系列模型上为2.1至2.4倍，且任务质量相当。
50%待验证论文评测显示，在RTX 3090与Jetson Orin上，BitMTP五任务平均吞吐提升最高达2.0倍，MBPP+单项达到3.3倍。
50%待验证BitMTP由PolyU-VCLab研究团队提出，核心机制是联合的下一Token预测与多Token预测（MTP）目标，使单个模型同时具备自回归生成与块因果起草能力，无需额外维护独立的草稿模型。
50%待验证BitMTP的源码已开放在GitHub的PolyU-VCLab/BitMTP仓库。
50%