NCM实测：比LLM快4倍还是更慢？本地测试揭示真相

斯坦福的一项新研究让不少人喊出了「LLM终结者」——这种叫NCM（Next Concept Modeling，下一概念建模）的模型，据说比扩散模型快31倍，还能让一个很小的模型解出86%的困难数独，而同等规模的传统语言模型几乎全军覆没。但YouTube创作者在本地硬件上跑了一系列对照实验后，得出了一个更微妙的结论：NCM确实是一次真实的架构创新，但它的优势有严格的适用边界。

NCM到底在做什么？

要理解NCM的价值，先得知道现在主流模型为什么慢。今天你用的ChatGPT、Gemini，都是自回归模型——一个token一个token地往外蹦。1000个token就是1000个串行步骤。真正的瓶颈不在计算，而在显存带宽：每一步GPU都得把整个模型的权重从显存里读一遍，只为了多吐出一个词。据视频作者分析，一个典型的本地模型写一段长回答，意味着数TB的数据要在GPU里来回搬运。你在自己机器上感受到的「写得比读得还慢」，根源就在这里。

扩散模型想绕开这个问题，做法是一整页同时猜、反复擦改。但它有个代价：每一次迭代都要重新处理所有位置，想要好质量通常得几十轮起步，砍轮数就掉质量。NCM的切入点正是在这里——能不能并行地写，但不为「重画整页」付费？

它的方案借自图像生成里的由粗到细思路。NCM包含两个核心部件：一个压缩器，把整段文本编码成多层「概念」码（每层码都来自约4000个学习到的码本）；顶层只有寥寥几个码，相当于整段话的模糊轮廓，越往下层码越多、只负责补缺失的细节，最底层每个词一个码。另一个部件是一个普通的Transformer生成器，但它预测的不是「下一个词」，而是「下一层概念」，一层一次前向。所以一个9层的模型就是9轮，不管输出多长；视频开头那个德语翻译例子用了11轮，因为那个翻译模型有11层。这就是「下一概念建模」名字的由来——这里的「概念」不是人类语义单位，只是一个学习到的压缩码。

自回归模型与显存带宽瓶颈

自回归模型（Autoregressive Model）是当前主流大语言模型（如GPT系列、Llama等）的基础架构，其核心特点是逐个token生成输出：每生成一个词，都需要将整个模型的权重从显存（VRAM）加载到计算单元中。对于参数量庞大的模型，单次权重加载的数据量可达数十GB，而生成1000个token就意味着重复加载1000次，累计搬运数TB数据。这一过程受限于GPU的显存带宽（Memory Bandwidth），而非浮点运算能力，因此被称为“显存带宽瓶颈”。NCM的并行生成思路正是为了绕开这一串行瓶颈，减少权重重复加载的次数。

扩散模型与迭代去噪

扩散模型（Diffusion Model）最初在图像生成领域大放异彩（如Stable Diffusion），其核心思想是通过多轮迭代去噪来生成目标：从纯噪声开始，每一步都基于当前整幅“画布”预测并去除部分噪声，逐步逼近清晰结果。在文本生成中，扩散模型同样采用并行解码——一次性生成整个序列的草稿，再反复擦改。然而，每轮迭代都需要重新处理所有位置，且通常需要数十轮才能达到可接受的质量，计算开销较大。NCM借鉴了扩散模型的并行思路，但通过“由粗到细”的概念码分层，大幅减少了迭代轮数。

论文没测的两件事

视频作者的怀疑从两个空白处开始。第一，论文里所有速度数字都是跟扩散模型比的，没有一项是跟同等规模的自回归模型比——而后者才是你日常真正在跑的模型类型。第二，数独上那个86%的成绩，到底是NCM架构本身带来的，还是某个更简单的因素？

作者在自己的DGX上复现了发布模型，又搭了一个同尺寸的普通LLM和一个自训练的扩散模型，做了三组头对头测试。

测试一：数独过程可视化

论文的数字站得住——在困难数独上，作者拿到了几乎一样的86%。但把每一轮的棋盘打印出来后，他发现NCM并不是一格一格填，而是每一轮重写整个棋盘，早期轮次连题目给的初始数字都会写错，最后才整体收敛到正确解。

这直接暴露了一个体验层面的硬伤：NCM的回答没法像普通模型那样流式输出，因为最后一轮结束前，你拿不到任何可读内容。

测试二：单请求快，批量慢

作者找了一个尺寸和形状都与NCM模型完全一致的自回归模型，给同样的提示、要求同样的字数。一次只发一个请求时，NCM在翻译任务上快4倍，在新闻摘要（提示是一整篇长文）上接近2倍。这确实说明它比普通自回归模型快。

但把并发拉到64个请求——也就是真实服务器的负载形态——结果完全翻转，普通自回归模型反超。原因还是回到那个显存与计算的瓶颈：单请求时GPU大部分时间在等权重加载，所以9到11轮的前向是巨大优势；批量请求时权重只加载一次，GPU全在算数学，而NCM跨所有层处理的位置数大约是它写出词数的4倍，计算量反而更大。雪上加霜的是，发布代码里NCM每一轮都会把整个提示重新过一遍模型，长文提示受伤最重。

这个结论对想做多智能体并行的用户很关键：作者直言，在NCM上跑多个agent同时工作，速度会掉下来。

并发批处理与GPU利用率

在真实服务器部署中，请求通常以批处理（Batching）方式并发执行：GPU一次性加载模型权重，然后对多个输入同时进行计算，从而摊薄权重加载开销，使GPU主要时间花在矩阵运算上。此时，计算量（FLOPs）而非显存带宽成为瓶颈。NCM的跨层处理机制导致其每个输出词对应的位置处理量约为普通自回归模型的4倍，因此在批量场景下计算负担更重。此外，NCM每一轮都会重新处理整个提示（prompt），对于长文本提示尤为不利。这解释了为何单请求时NCM凭借轮数少而占优，但高并发时反被自回归模型超越。

测试三：数独优势的真正来源

作者用同尺寸、同训练数据、同测试题训练了一个扩散模型。按标准方式（随机顺序填格）跑，它解出约四分之一，与论文报告一致。但把解码规则改一条——先填模型最有把握的格子——它的成绩就逼近NCM了。再多给几轮迭代，分数还爬到了95%。

作者谨慎地强调，这只是一个简单实验，扩散模型终究不是NCM。但这个结果指向一个判断：论文里那个巨大的数独差距，主要来自填格顺序，而非NCM架构本身。不过NCM仍有独到之处——它把「由粗到细」内建在了模型里，扩散模型则需要额外的解码规则才能达到类似效果。

解码策略与填格顺序

在数独等约束满足任务中，模型的得分不仅取决于架构，还深受解码策略影响。标准扩散模型通常按随机顺序填充格子，而NCM通过概念码的层级结构隐含了“先填最有把握的格子”的偏好。实验表明，仅将扩散模型的解码规则改为优先填充模型置信度最高的格子，其准确率便从约25%跃升至接近NCM的86%，增加迭代轮数后甚至可达95%。这说明论文中NCM的数独优势主要来自解码顺序的优化，而非架构本身的根本性突破。不过，NCM将这种“由粗到细”的策略内建于模型训练中，无需额外规则即可实现类似效果，仍体现了架构设计的价值。

尚未解决的局限

除了上述测试，作者还列出了几个观察到的限制：

• 固定输出框：每个NCM模型写进一个固定大小的框，哪怕答案只有一行，也要跑完所有层，成本照付。
• 专名与数字易错：压缩器在文本和码之间转换时，有时会弄混名字和数字。
• 规模未知：作者训练的最大模型不到10亿参数，在27B乃至更大规模上是否成立，尚无验证。
• 代码仅限评估：发布的代码目前只供评估，没有训练代码，且在作者的实验中，提示缓存的表现有问题。

该怎么看NCM

综合这些本地测试，NCM并不是LLM的终结者，而是一个在特定场景下真实有效的补充方案。对单用户在本地GPU上跑模型的人来说，最多4倍的速度提升是实打实的收益；对需要批量服务或并行agent的场景，它目前反而是负担。数独成绩的归因也需要修正——架构创新值得肯定，但被夸大的部分主要来自解码策略。

作者给社区的建议很直接：值得亲自试，它是个很妙的思路，但局限同样明显。至于「先画草图再填细节」这条路能否推广到更大的模型规模，还得等更多人在自己的硬件上验证。