Inception发布Mercury 3扩散LLM：1068 tokens/秒，百万上下文

扩散模型杀入大模型推理赛道

Inception 正式发布了 Mercury 3，一款基于扩散架构的大语言模型。官方数据显示其推理速度达到 1,068 tokens/秒，同时支持 100 万 token 的上下文窗口。这两个数字放在当前主流自回归（autoregressive）模型的语境下，都相当激进——多数商用模型的速度仍在几十到数百 tokens/秒区间，百万级上下文也通常只出现在少数旗舰模型上。

Mercury 3 的核心卖点并不只是「快」。扩散语言模型的工作方式与 GPT 系列代表的自回归路线有本质区别：自回归模型逐 token 从左到右生成，而扩散模型通过对噪声的逐步去噪来并行产出文本。这种范式在图像生成领域已被验证，但迁移到文本生成时，如何保证语义连贯性和长程一致性一直是难点。Inception 选择在这个方向持续投入，Mercury 3 是其最新一代产品。

自回归（autoregressive）模型的核心机制是逐 token 预测：给定前文，模型输出下一个 token 的概率分布，采样后再作为下一步输入，循环往复。这决定了生成过程天然是串行、受显存带宽约束的，单次前向只能产出一个 token，速度难以线性扩展。扩散模型则借鉴图像生成中的去噪思想，从随机噪声出发，经多步迭代同时优化整段序列的表示，理论上可在单次迭代中并行处理多个位置。两者在并行度、训练目标和控制粒度上的差异，是理解 Mercury 3 速度宣称的关键背景。

跑分对比：8/12 项领先 GPT-6 Luna 与 Claude Haiku 5.5

根据 Inception 自家公布的对比表，Mercury 3 在 12 项基准测试中的 8 项上领先于 GPT-6 Luna 和 Claude Haiku 5.5。需要说明的是，这份成绩来自厂商自测，测试集选择、提示词设计和评测协议均未在披露信息中详述，因此应当视为参考性数据而非独立验证结论。

从定位上看，GPT-6 Luna 与 Claude Haiku 5.5 都属于各自产品线中偏轻量、强调响应速度的型号。Mercury 3 选择它们作为对标对象，暗示其目标场景是高吞吐、低延迟的在线推理，而非追求绝对上限的复杂推理任务。1068 tokens/秒的速度优势，如果能在真实负载下保持，对客服、文档处理、代码补全等场景意味着显著的成本和体验改善。

说个细节，扩散模型在并行生成上的理论优势，恰好对应了自回归模型逐 token 解码的固有瓶颈。这也是 Inception 敢于把速度作为第一宣传点的底层逻辑。

厂商自测与第三方独立评测的差异值得留意。自测通常可自行选择提示词模板、few-shot 示例数量、解码参数（temperature、top-p）以及评分脚本，这些选择对最终分数影响可观；而独立评测如 LMSYS Chatbot Arena、HELM 或各学术基准的官方榜单，采用统一协议、盲测或人工偏好投票，可比性更强。因此业界惯例是：厂商数字用于判断量级与方向，采购决策则参考独立复现结果。

百万上下文与扩散架构的兼容性挑战

100 万 token 上下文是另一个值得拆解的指标。长上下文对注意力机制的内存占用和计算复杂度提出很高要求，业界常见做法包括稀疏注意力、分块处理和各种近似算法。扩散 LLM 要在长上下文下保持去噪过程的稳定性，难度只会更高——噪声在长序列上的传播和收敛行为，与短文本生成并不相同。

Inception 并未披露 Mercury 3 在百万上下文下的实际有效召回表现（例如「大海捞针」类测试的结果），也没有说明速度指标是否在满上下文条件下测得。这两点直接决定了该能力是工程可用还是纸面参数。对于打算将其用于长文档分析的团队，建议在接入前自行做针对性验证。

「大海捞针」（Needle in a Haystack）测试是评估长上下文模型有效召回能力的常用基准：在一段长文本的任意位置埋入一条特定信息（“针”），再要求模型在回答问题时准确复述该信息。通过在不同位置、不同文本长度上反复测试，可以绘制出模型的召回准确率热力图，从而识别模型在序列中段或超长输入下是否出现性能衰减。对于宣称百万级上下文的模型，该测试几乎是必选项——纸面上下文长度与真实可用召回之间往往存在明显差距。

对开发者和企业选型的实际影响

如果 Mercury 3 的性能在第三方评测中得到印证，它可能撬动几个方向的选择逻辑。

推理成本结构变化。 速度提升一个数量级，意味着单位时间内可处理的请求量大幅增加，在同等硬件下摊薄单 token 成本。对大规模部署的团队，这比基准分数的小幅领先更有吸引力。

延迟敏感型应用的重新评估。 实时翻译、语音助手、交互式编程等场景长期受限于生成速度，扩散架构若能稳定输出高质量文本，会打开一些此前不经济的用法。

生态兼容性仍是变量。 新架构通常面临工具链、微调方法、部署框架的适配问题。Mercury 3 是否兼容主流推理框架、是否支持常见的微调范式，目前信息有限，这会直接影响落地速度。

需要保持审慎的地方

厂商自测领先 8/12 项基准，与「全面超越」之间还有距离。未披露的 4 项落后指标具体是什么、差距多大，同样影响判断。扩散语言模型在事实准确性、长文逻辑一致性上的历史短板，也需要独立评测来确认是否已被 Mercury 3 解决。

速度数字 1,068 tokens/秒缺少测试条件的完整说明——批处理规模、硬件配置、输出长度都会显著影响结果。在第三方复现之前，将这些数字视为方向上可信、量级上待验证的参考，是更稳妥的态度。

对关注推理效率的团队来说，Mercury 3 值得列入观察名单；但对生产环境的选型决策，建议等待独立评测和实际接入测试后再做判断。