Opus 5实测体验：能力强但速度慢，推理速度成AI模型新战场

一条推文引发的AI速度之争

近日，一位AI从业者在Twitter上分享了自己的模型使用体验，引发了不少讨论。他直言不讳地表示："我是Opus 5的忠实粉丝，它将成为我日常工作的主力模型。但如果OpenAI能在Cerebras上跑出GPT-5.6，也许能把我重新拉回去。"

随后他补充了一句关键吐槽："Opus 5实在是慢得要命（slow af）。"

这条看似随意的推文，实际上触及了当前大模型竞争中一个越来越重要、却常被忽视的维度——推理速度。当模型能力逐渐趋同、进入"够用"的阶段后，用户体验的天平正在从"谁更聪明"向"谁更快、更好用"倾斜。

模型能力与推理速度的天平

为什么用户愿意为强模型忍受慢速？

Anthropic的Claude Opus系列一直以强大的推理能力和代码生成质量著称。Opus是Claude模型家族中的旗舰产品线，定位于最高能力层级。Claude的模型按能力分为Haiku（轻量快速）、Sonnet（平衡型）和Opus（旗舰型）三个梯队，Opus通常拥有最大的参数规模和最深的推理链路，能够处理多步逻辑推理、长文档分析和复杂代码生成等高难度任务。但更大的参数规模意味着每次推理需要更多的计算资源和时间——模型在生成每一个token时都需要经过更多层的神经网络计算，这也是Opus系列速度较慢的根本技术原因。

许多深度用户，尤其是从事编程、写作和复杂分析工作的专业人士，愿意选择Opus作为"主力机型"，正是看中了它在复杂任务上的可靠输出。这位用户表示Opus 5将成为其"daily driver"（日常主力），说明在实际生产力场景中，模型的输出质量依然是第一决策因素。当一个模型能真正帮你把活干对、干好时，多等几秒似乎是可以接受的代价。

但用户对慢速的容忍度有上限

然而"slow af"这三个字暴露了问题。当模型响应时间过长，交互体验会急剧恶化——尤其是在需要频繁迭代的编程和创作场景中。每一次等待都在打断心流（flow state），累积起来的挫败感会逐渐侵蚀用户忠诚度。

心流（Flow State）是心理学家米哈里·契克森米哈赖提出的经典概念，指人在高度专注的创造性活动中进入的一种忘我状态。在编程和写作场景中，开发者与AI的交互本质上是一个快速迭代循环：提出需求→获得输出→修正反馈→再次获得输出。认知科学研究表明，当这个循环中的等待时间超过约10秒，用户的注意力就会开始漂移，超过30秒则很可能完全脱离任务状态。而重新进入心流通常需要15-25分钟，这意味着每一次因模型响应过慢导致的中断，实际生产力损失远大于表面上的等待时间。

这正是这位用户留有余地的原因：他现在选择Opus 5，但明确表示OpenAI"有机会赢回他"。而赢回的关键条件，恰恰不是更强的智能，而是更快的推理速度。

Cerebras：推理速度赛道的关键变量

为什么推文中点名Cerebras？

推文中特别提到了"GPT-5.6 on Cerebras"这一假设场景。Cerebras是一家以晶圆级芯片（Wafer-Scale Engine）闻名的AI硬件公司，其最大卖点就是极高的推理吞吐速度。

Cerebras Systems成立于2016年，其核心技术创新在于将整个硅晶圆直接制造为一颗完整的芯片，而非像传统半导体制造那样将晶圆切割成数百个独立的小芯片。其最新的WSE-3（Wafer-Scale Engine 3）芯片面积达到约46,225平方毫米，集成了超过4万亿个晶体管和90万个AI计算核心，是英伟达H100 GPU面积的约56倍。这种架构的最大优势在于片上通信——传统GPU集群中，数据需要在多个芯片之间通过高速互连传输，带来显著的通信延迟；而Cerebras的晶圆级芯片将所有计算核心集成在同一块硅片上，数据在核心之间的传输距离极短，延迟极低。此外，其片上内存带宽远超传统方案，能够有效解决大模型推理中的"内存墙"问题——即模型参数的读取速度成为推理速度瓶颈的现象。

Cerebras的推理服务此前已在多个开源模型上展示出惊人的token生成速度，能够达到每秒数千token的水平，远超传统GPU推理方案。要理解这个差距有多大，需要了解token与用户体验之间的关系：token是大语言模型处理文本的基本单位，英文中一个token大约对应4个字符或0.75个单词，中文中一个汉字通常对应1-2个token。当前主流商用模型的推理速度差异巨大——轻量模型如Claude Haiku或GPT-4o-mini可以达到100-200 tokens/秒，而旗舰推理模型如Opus系列可能只有20-40 tokens/秒。从用户感知角度，50 tokens/秒左右的速度大致相当于人类正常阅读速度，低于这个阈值用户就会明显感到"在等AI"。而对于代码生成等需要输出数百甚至上千token的场景，推理速度的差异会被成倍放大——同样生成500行代码，快速模型可能只需几秒，慢速模型则可能需要半分钟以上。这意味着如果OpenAI的旗舰模型能够运行在Cerebras这类专用推理硬件上，用户将获得近乎实时的响应体验。

硬件基础设施正在成为差异化竞争点

这个细节揭示了一个重要趋势：大模型竞争已经从单纯的"算法与参数"扩展到了"软硬件协同优化"。同样的模型，跑在不同的推理基础设施上，用户体验可能天差地别。

软硬件协同优化在AI推理领域涉及多个层次。在算法层面，模型量化（将32位浮点参数压缩为8位或4位整数以减少计算量）、投机解码（Speculative Decoding，用一个轻量小模型预测大模型的输出以加速生成过程）、KV缓存优化（如vLLM项目首创的PagedAttention技术，大幅提升显存利用效率）等方法可以在不显著降低模型质量的前提下大幅提升推理速度。在系统层面，NVIDIA的TensorRT-LLM等推理引擎持续优化GPU利用率。在硬件层面，除了Cerebras的晶圆级芯片路线外，Groq是另一家备受关注的推理加速公司——由前Google TPU团队核心成员Jonathan Ross创立，其LPU（Language Processing Unit）采用确定性计算架构，通过消除传统芯片中的动态调度机制实现高度可预测的计算时序，从而在推理场景中获得极低延迟和极高吞吐量。此外，Google的TPU、AWS的Trainium/Inferentia等云厂商自研芯片也在推理成本和速度上形成差异化优势。

对于OpenAI、Anthropic、Google这样的头部厂商来说，谁能在保持模型能力的同时，通过专用芯片或推理优化把速度做到极致，谁就能在用户体验层面建立新的护城河。头部AI公司越来越倾向于纵向整合——从模型设计阶段就考虑目标硬件的特性，实现端到端的性能最优化。这也是Groq、Cerebras等AI推理加速厂商近年来备受行业关注的根本原因——它们代表着AI硬件市场正在从"训练为王"的英伟达一家独大格局，向训练与推理分化的多元竞争格局演进。

从用户反馈看大模型竞争趋势

模型选择正变得更灵活、更多元

说个细节，这位用户并不忠于单一品牌。他今天选Opus 5，明天可能因为速度优势回到GPT。这反映了当前专业用户的普遍心态——根据具体需求灵活切换模型，而非绑定某一家厂商。

这对所有AI厂商都是一个警示：用户忠诚度比以往更加脆弱，任何一个体验短板都可能导致用户流失。能力领先只是入场券，远非竞争的终点。

"够快"将成为下一个核心竞争焦点

随着GPT、Claude、Gemini等顶级大模型在能力上逐渐接近，纯粹的智能差距对普通用户的边际影响正在递减。相比之下，推理响应速度、服务稳定性、使用成本这些"工程化"指标，将越来越多地决定用户的实际选择。

可以预见，未来大模型的宣传重点，除了"我更聪明"，还会越来越多地强调"我更快"。推理速度的军备竞赛，很可能才刚刚拉开序幕。

结语：AI模型竞争正从参数走向体验

一条简短的推文，浓缩了当下AI应用的真实矛盾：我们既要模型足够强大，又受不了它太慢。

Opus 5用出色的能力赢得了这位用户的青睐，却也因推理速度埋下了流失的隐患。而OpenAI能否借助Cerebras这样的专用推理硬件发起反击，将取决于它能否在"聪明"和"迅捷"之间找到那个让用户无法拒绝的平衡点。

对整个AI行业而言，这个信号已经足够清晰：大模型的战争，正在从参数规模走向用户体验，从实验室走向真实的使用现场。