本地大模型换MTP后缀：短问答快27%，长文开头反慢14%

本地跑大模型的玩家普遍有个共识：想提速，要么换硬件，要么降量化。但B站UP主「AIPC遇森」的一组实测给出了一个几乎零成本的路径——不改参数、不换机器、不换模型，只靠下载时文件名里的一个后缀，短问答整段响应就能快27%。这个后缀叫MTP。

MTP是什么：模型自带的"先猜后答"小助手

MTP全称Multi-Token Prediction，中文一般译作"多词预测"。通俗理解，就是模型内部自带一个先猜后答的小助手：它会先一口气猜出接下来几个字，再统一核对，猜对了就直接输出，省掉逐字生成的时间。

UP主在视频里特别强调，MTP不是外挂插件，也不是需要额外调参的开关，它就藏在模型文件的命名里——文件名带MTP三个字母的，就是启用了多词预测的版本；不带的，是原版。下载时扫一眼文件名，就完成了全部"配置"。

实验对象是同一个千问3.6-35B-A3B模型。名字里的B是十亿参数（billion）的缩写，35B即350亿参数。参数好比模型里预先调好的旋钮，旋钮越多越吃内存，这一点与是否启用MTP无关——两个版本参数量完全一致。

首字延迟（TTFT）与出字速度（TPOT）

文中反复出现的"首字延迟"和"出字速度"是衡量大模型推理体验的两个核心指标。首字延迟（Time To First Token，TTFT）指从发出请求到模型吐出第一个字所花的时间，它主要受预填充阶段（prefill） 影响——模型需要先把输入的全部上下文一次性读入并计算注意力，上下文越长，这一阶段越久。出字速度（Time Per Output Token，TPOT 的倒数）则对应解码阶段（decode），模型每生成一个字都要跑一次前向计算，速度取决于算力和模型规模。MTP 之所以能"两头一起省"，是因为它同时优化了解码阶段（一次猜多个词，减少前向次数）并改变了预填充与解码的衔接方式；而长文档场景首字延迟变长，正是预填充阶段需要额外处理"猜测"逻辑所致。理解这两个指标，才能看懂文中"短问答赚两头、长文档开头亏"的数据结构。

短问答实测：整段快27%，出字快14%

短问答组的输入是400个字加一个小问题，两版对比数据如下：

指标	原版	带MTP	变化
首字延迟	5.9秒	4.3秒	少等1.6秒
出字速度	57.98字/秒	66.14字/秒	快约14%
整段答完	85.9秒	62.3秒	快27%

同一个问题省下23.6秒。UP主的形容很直观：倒一杯水回来，答案已经写完了。关键在于变量只有一个——机器没换、模型没换、下载的压缩档也没换，改的只是文件名后缀。

单看出字速度提升14%，数字不算炸裂，但UP主提醒，写文章、写代码、整理表格这类任务动辄几千字往下走，速度优势会一路放大；而且这一档是"两头一起省"：开口从5.9秒压到4.3秒，出字又快14%，叠加起来整段才少了23.6秒。

长文档的反面：首字多等6秒，慢了14%

短问答的优势并没有线性延续到长文本场景。换成长文档测试——塞进三万两千字让模型读完再回答，结果出现反转：原版首字延迟42秒，带MTP的变成48秒，多等6秒，慢了14%。

原因还是那个"先猜后答"的小助手：猜之前它必须先把材料过一遍，材料越长，这一遍看得越久。所以MTP并不是全场景增益，对于"只想尽快看到开头几个字"、又经常喂长材料的用户，它反而拖后腿。

上下文长度与"预填充"开销

长文档测试塞进三万两千字，这个量级直接决定了首字延迟的量级。大模型的上下文窗口以 token 计，三万多字中文大致对应数万 token，模型必须在生成第一个字之前把这整段材料完整"读一遍"——这一步就是预填充。预填充的计算量与上下文长度近似成正比，所以原版首字延迟从短问答的 5.9 秒飙升到 42 秒。带 MTP 的版本在这一阶段还要额外做"先猜"的准备工作，于是 42 秒变成 48 秒。这也解释了为什么 MTP 的收益高度依赖场景：输入越短，预填充越轻，解码占比越高，MTP 省下的解码时间就越显眼；输入越长，预填充越重，MTP 的额外开销越容易被放大。

长文档的总账：开头亏6秒，整段仍赚22秒

别急着关掉MTP。同一组长文档测试里，整段答完的耗时是：原版142秒，带MTP的120秒，省22秒，快15%。也就是说长文档场景是"开头多等6秒、后面省22秒"，总账依然是赚的。

UP主给出了唯一该关掉MTP的场景：你只需要开头那一段，读完就够，不等它写完。这种用法下，多等的6秒是纯亏，原版更合适。

三步决策：下载前扫一眼文件名

把实测结论压缩成可操作的三条：

1. 认文件名：带MTP三个字母的是启用多词预测的版本，不带的是原版。
2. 追整段速度，选带MTP的：短问答快27%，长文档快15%，两头都赚。
3. 追首字速度且常喂长材料，选原版：否则每次开口多等6秒，越等越烦。

这套结论的价值在于它几乎没有迁移成本。多数人优化本地推理的第一反应是研究量化等级、上下文长度、显存占用，却忽略了下模型时文件名本身就标注了推理模式。UP主的所有数据均来自同一台机器实测，未做任何参数改动，可信度较高；不过他也在视频末尾预告了一个更反常识的话题——更贵的那台机器在某些项目上反而会输，说明硬件规格与推理效率之间并非简单正相关，这一点值得后续关注。

对本地部署玩家来说，MTP后缀相当于一个免费的"场景开关"：短交互密集的日常问答、写作、代码补全，开它；长文档摘要、需要极速首响的检索式问答，关它。一个字母的差别，决定了你等的是4.3秒还是5.9秒，也决定了整段任务是62秒收工还是85秒。