[控场AI]
· 3 分钟阅读· 1,947 字

WaferTetris:晶圆级加速器的自由映射新方法

WaferTetris:晶圆级加速器的自由映射新方法

WaferTetris 用自由映射替代模板映射,在 Cerebras WSE-3 上实现最高 4.42 倍吞吐提升。

文章介绍晶圆级加速器(WSE)应用映射的新方法 WaferTetris。传统模板映射虽降低编程复杂度,却强加固定几何布局,导致计算与内存资源经常闲置,成为吞吐瓶颈。WaferTetris 提出自由映射,以类似俄罗斯方块的策略将任务非规则地打包到晶圆各处,提升 PE 利用率和可用内存,同时保持 PE 任务代码不变。其支撑技术包括捕获分支与汇合依赖的递推吞吐量模型,以及带逐色门的架构模型,使现有 FPGA 布局布线算法可强制执行 WSE 路由约束。在 Cerebras WSE-3 上,LLM 解码吞吐量达模板基线的 4.42 倍;相比手动优化的 WaferLLM,上下文长度提升至 1.8 倍(80k 对 44k),匹配上下文时每用户吞吐量持平或更高。

晶圆级加速器(Wafer-Scale Engine, WSE)通过单晶圆上数十万个处理单元(PE)互连,提供海量计算能力。然而,要释放这种潜力,高效的应用映射至关重要。现有方法依赖基于模板的映射来维持生产力,但这些模板限制了映射设计空间——它们强加固定的几何布局,导致计算和内存资源经常得不到充分利用。

模板映射的瓶颈

传统上,为了降低编程复杂度,晶圆级加速器采用模板化映射策略。这些模板将PE网格划分为规整的区域,每个区域执行特定类型的任务。虽然这种方法简化了开发流程,但固定的几何布局无法适应多样化的应用需求,尤其当任务的计算和内存需求不均衡时,资源利用率会显著下降。

据原始论文指出,模板映射往往“留下计算和内存资源未充分利用”。这成为提升晶圆级系统整体吞吐量的关键障碍。

WaferTetris 概览

WaferTetris 的自由映射策略

WaferTetris 通过自由映射(freeform mapping)消除了几何限制。其核心是一种类似俄罗斯方块(Tetris)的策略,灵活地将计算打包到晶圆的各个位置,从而提高PE利用率和可用内存容量,同时保持PE任务代码不变。

这种策略允许任务在PE网格上非规则地排列,充分利用碎片化的空闲区域。与模板映射相比,自由映射能够更紧密地匹配应用的实际通信和计算模式,减少资源闲置。

吞吐量模型与架构模型

为了实现高效的自由映射,WaferTetris 开发了基于递推的吞吐量模型,捕获分支与汇合依赖关系,以指导空间并行性。该模型帮助系统在映射时做出更优的并行化决策。

同时,研究者提出了带有逐色门(per-color gates)的架构模型,使得现有的FPGA布局布线算法能够强制执行WSE的路由约束。这样,WaferTetris 能够复用成熟的EDA算法,同时满足晶圆级互连的独特要求。

逐色门(per-color gates) 中的“颜色”沿用自 FPGA 布局布线中的经典抽象:把布线资源按可同时使用的类别着色,同色资源之间不存在冲突,跨色资源则需要串行或换道。在 WaferTetris 的架构模型里,每个 PE 的出入口被赋予颜色标记,门电路只在同色通道间放行信号,从而把 WSE 的物理路由约束(如方向性、通道容量、跨区域跳数限制)编码成布局算法可直接消化的图着色约束。这样一来,成熟的 FPGA 布局布线器无需改动核心算法,只需在合法性检查阶段查询逐色门即可判定一条连线是否可行。其代价是颜色划分的粒度直接影响可布通率:颜色过粗会误判冲突、浪费布线自由度,颜色过细则增加求解规模。

在 Cerebras WSE-3 上的评估

WaferTetris 在 Cerebras WSE-3 上使用LLM解码和科学模板基准进行了评估。在LLM解码任务中,与基于模板的自动映射基线相比,在相同晶圆尺寸下,WaferTetris 实现了高达4.42倍的系统吞吐量提升。

与手动优化的 WaferLLM 相比,WaferTetris 在 LLaMA3.1-8B 上支持1.8倍的上下文长度(80k 对 44k),而在匹配上下文长度时,每用户吞吐量持平或更高,最高可达1.10倍。这些结果展示了自由映射在真实工作负载中的优势。

Cerebras WSE-3 是当前公开披露中规模最大的晶圆级芯片之一,采用台积电 5nm 工艺,单晶圆集成约 4 万亿晶体管、90 万个 AI 优化核心,片上 SRAM 达 44GB,峰值 AI 算力约 125 PFLOPS(FP16)。其核心特征在于整片晶圆作为一个逻辑器件运行,核心之间通过超高速片上互连而非传统 NoC 或片间链路通信,因此片上带宽与核心数同步扩展。这一架构使得“映射”成为决定实际性能的首要因素:由于无法像多芯片系统那样靠增加卡数扩容,任何 PE 闲置或内存碎片都直接体现为吞吐损失。评测中所用的 LLaMA3.1-8B 推理与科学模板基准,正是为检验这种单芯片内资源调度效率而选取的负载。

意义与展望

WaferTetris 的出现标志着晶圆级加速器编程向更灵活、更高效的方向迈出了一步。通过消除模板的几何限制,它释放了更多计算和内存资源,为大规模AI模型和科学计算提供了更强的支持。未来,这种自由映射方法有望进一步推动晶圆级系统的易用性和性能边界。

对于AI从业者而言,WaferTetris 提示我们:在超大规模硬件上,灵活的映射策略可能比固定的模板带来数量级更高的效率提升。随着晶圆级加速器逐渐进入主流,这类技术将变得愈发重要。

#WaferTetris#晶圆级加速器#自由映射#Cerebras WSE-3#LLM解码#吞吐量优化
分享:

相关推荐