[控场AI]
概念MTP / Multi-Token Prediction

MTP投机解码

多Token预测投机解码技术,一种嵌入模型内部的推理加速方案,通过预测多个后续token并进行验证来提升生成速度,可带来1.6-1.8倍的推理加速

来源文章