[控场AI]
· 5 分钟阅读· 2,936 字

Cerebras拆分解码推理:Wafer级芯片如何改写LLM服务规则

Cerebras拆分解码推理:Wafer级芯片如何改写LLM服务规则

Cerebras拆分解码推理方案解析:按负载特征分离prefill与decode的收益与代价。

文章围绕Cerebras公布的拆分解码推理方案展开,指出LLM推理中prefill(计算密集)与decode(带宽密集)被绑定在同一批硬件上会导致算力与带宽互相空转。拆分思路是将两阶段分配到不同资源池,并通过高速互联传递KV Cache。Cerebras的Wafer-Scale Engine凭借超大片上SRAM和带宽在decode阶段具有独特优势,但KV Cache跨池传输带来新的互联带宽成本。拆分解码主要解决资源利用率、尾延迟和弹性扩展问题,却不消除模型并行通信开销,对中小规模部署收益有限。文章还提到拆分后prefill与decode可采用非对称精度策略,并总结出按负载特征拆分资源池、把KV Cache传输成本当一等公民设计的可迁移启示。

Cerebras 在 Hacker News 上公布了其拆分解码推理(Disaggregated Inference)的技术方案,讨论热度虽不算高,但指向的问题很关键:当大模型推理从实验室走向规模化服务,瓶颈到底在哪里,又该如何拆解。

Cerebras Disaggregated Inference 在 Hacker News 的讨论帖

推理服务的两个阶段,本来就不该绑在一起

LLM 推理通常分为 prefill(预填充)和 decode(解码)两个阶段。Prefill 要把整段输入 prompt 一次性算完,是典型的计算密集型任务,矩阵乘法吃满算力;decode 则是逐 token 生成,每步只处理一个 token,却要反复读取模型权重和 KV Cache,是典型的内存带宽密集型任务。

把这两个阶段放在同一批硬件上串行执行,问题很明显:prefill 阶段算力闲置时带宽没用上,decode 阶段带宽吃紧时算力又大量空转。拆分解码推理的思路,就是把 prefill 和 decode 分配到不同的硬件资源池,各自按最擅长的负载特征运行,再通过高速互联传递 KV Cache。

这并非 Cerebras 首创的概念,但放到 Wafer-Scale Engine 的架构上,拆分的收益和代价都会呈现出不同的面貌。

Prefill 与 Decode 的算力/带宽特征对比

Prefill 阶段需要一次性处理整个输入序列,对长度为 (L) 的 prompt 做自注意力计算,其计算量随 (L^2) 增长,矩阵乘法的规模大、并行度高,因此 GPU 的算力利用率(MFU)通常较高,属于 compute-bound。Decode 阶段每次只生成一个 token,注意力计算量只与历史长度线性相关,但每一步都要把全部模型权重从显存读入计算单元,算术强度(arithmetic intensity,即每字节内存访问对应的浮点运算数)极低,因此是 memory-bound。这一差异直接决定了两个阶段对硬件的要求截然不同:prefill 偏好高算力、低互联需求,decode 偏好高内存带宽、大容量缓存。业界常用的“首 token 延迟(TTFT)”主要由 prefill 决定,“每 token 延迟(TPOT)”主要由 decode 决定,拆分后两者可以分别优化,而不再被迫在同一套资源上折中。

Wafer 级芯片的特殊账本

Cerebras 的 WSE 把整片晶圆做成一颗芯片,片上 SRAM 容量和内存带宽远超传统 GPU 的单卡规格。这意味着 decode 阶段最吃紧的权重读取和 KV Cache 访问,可以在片上完成,不必频繁往返 HBM。

拆分解码在 Cerebras 架构下的逻辑因此变成:prefill 交给擅长吞吐的集群批量处理,decode 交给 wafer 级芯片利用超大片上内存和带宽做低延迟生成。据 Hacker News 讨论中的观点,这种拆分对长上下文场景尤其有意义——prefill 的平方级计算开销被单独隔离,不会拖慢首 token 之后的持续生成节奏。

代价同样存在。KV Cache 在 prefill 和 decode 资源池之间传输,需要足够高的互联带宽;拆分越细,调度和容错的复杂度越高。Cerebras 的方案能否把这块开销压到可接受范围,是工程落地的关键。

Wafer-Scale Engine 的片上存储与带宽

传统 GPU 的显存(HBM)与计算单元之间隔着有限的片内 SRAM,模型权重和 KV Cache 往往要反复在 HBM 与片上缓存之间搬运。Cerebras 的 WSE 把整片 300mm 晶圆做成单芯片,集成数十万个计算核心,并通过片内互连提供远高于单卡 GPU 的聚合内存带宽和片上 SRAM 容量(WSE-2 约 40GB 片上 SRAM,WSE-3 进一步提升)。这意味着 decode 阶段频繁读取的权重和 KV Cache 有机会常驻片上,减少对片外 HBM 的依赖,从而缓解 memory-bound 瓶颈。代价是晶圆级芯片的良率、功耗和散热挑战极大,且其编程模型与 CUDA 生态差异明显,这也是该架构难以被普遍复制的原因。

拆分解码解决了什么,没解决什么

从公开讨论看,拆分解码主要解决三类问题:一是资源利用率,让算力和带宽各归其位;二是尾延迟,decode 不再被突发的长 prompt prefill 阻塞;三是弹性扩展,prefill 和 decode 可以按业务流量比例独立扩容,而不是整机整卡地加。

它没解决的问题也很清楚。模型并行和流水线并行的通信开销依然存在;KV Cache 的跨节点搬运在超长上下文下会成为新的带宽瓶颈;而对中小规模部署来说,拆分的运维复杂度可能超过收益。Hacker News 上有评论指出,拆分解码更像是超大规模型服务商的优化手段,普通团队的收益有限。

有意思的是,讨论中还提到一个常被忽略的维度:拆分解码让 prefill 和 decode 可以各自选择最合适的精度和量化策略,prefill 用高精度保质量,decode 用低精度保速度,这种非对称配置在单体推理中很难实现。

KV Cache 与跨池传输成本

KV Cache 是自回归生成过程中缓存的历史 token 的 Key/Value 张量,避免每步重复计算注意力。其大小与层数、头数、头维度、序列长度和批量大小成正比,长上下文下可达数十 GB。拆分解码要求 prefill 完成后把整份 KV Cache 从 prefill 资源池传输到 decode 资源池,传输量随上下文长度和并发数线性增长。若互联带宽不足,这段搬运会成为新的瓶颈,甚至抵消拆分带来的收益。业界常用分层传输(先传首层 KV 以尽早开始解码)、KV Cache 压缩/量化、以及把 prefill 与 decode 放在同一高速互联域内等方法来控制这部分成本。这也解释了为什么拆分解码目前更适合具备自建高速网络的大规模服务商。

对推理基础设施的启示

Cerebras 这次公布方案,真正值得关注的不是某一项指标,而是它把推理服务拆成可独立优化的组件这一思路。当模型规模继续膨胀、上下文窗口继续拉长,单体推理架构的边际收益会越来越低,按负载特征拆分资源池会成为规模化服务的默认选项。

对做推理优化的团队来说,可迁移的经验有两点:一是先量化清楚 prefill 和 decode 各自的瓶颈到底在算力还是带宽,再决定要不要拆;二是把 KV Cache 的传输成本当成一等公民来设计,而不是事后补丁。Cerebras 的 wafer 级架构给了它足够的片上资源去消化这部分成本,其他硬件路线则需要更精细的权衡。

拆分解码不是万能药,但它把推理服务的设计空间从“选什么卡”扩展到了“怎么分配任务”。这个视角的转变,可能比具体实现更有长期价值。

#Cerebras#拆分解码推理#Disaggregated Inference#LLM推理优化#Wafer-Scale Engine#prefill decode#推理基础设施
分享:

相关推荐