开源权重LLM架构解析：MoE、混合层与三值权重

开源权重大模型正在架构层面走出与闭源模型不同的技术路线。Hacker News 上关于「The architecture of open-weight LLMs: MoE, hybrid layers, ternary weights」的讨论，把三个关键词摆到了台前：混合专家（MoE）、混合层（hybrid layers）与三值权重（ternary weights）。这三者并非孤立的技术点，而是共同指向同一个目标——在有限算力预算下，把模型的「有效容量」做大。

为什么开源权重模型偏爱MoE

混合专家架构的核心思想是「按需激活」。传统稠密模型在处理每个 token 时都要跑完整个前馈网络，而 MoE 把前馈层拆成多个专家，由路由网络为每个 token 选择少数几个专家参与计算。结果是在参数总量大幅扩张的同时，单次前向的计算量保持在可控范围。

对开源权重社区而言，这种「参数多、算得少」的特性具有现实吸引力：权重可以公开分发，推理成本却不会随参数线性膨胀。这也解释了为什么越来越多的开放模型在架构描述里把 MoE 作为默认选项，而不是稠密结构的简单放大。

路由网络与负载均衡是理解 MoE 的关键补充。路由网络（router）通常是一个轻量线性层，对每个 token 输出各专家的打分，再经 Top-k 选择决定激活哪些专家。由于路由是离散决策，训练时容易出现「赢者通吃」——少数专家被过度调用、其余专家得不到充分训练。常见对策是引入负载均衡辅助损失（load balancing loss），对专家利用率施加约束，促使 token 在专家间均匀分配。此外，MoE 的显存占用并不随激活稀疏而下降：全部专家权重仍需常驻显存或按需换入，因此「参数多、算得少」主要节省的是计算量（FLOPs）而非显存，部署时需在显存容量与吞吐之间权衡。

混合层：注意力与状态空间的折中

「混合层」指的是在同一模型中交替堆叠不同类型的序列建模层。常见组合是把标准注意力层与线性注意力或状态空间类层混排，让模型在不同深度承担不同的建模职责。

这种设计的动机来自注意力的二次复杂度瓶颈。纯注意力堆叠在长上下文场景下代价陡增，而纯线性结构又在精确检索类任务上表现受限。混合层试图在两者之间取平衡：用少量全注意力层保证信息召回，用大量轻量层控制整体开销。对开源权重模型来说，这同样是成本与能力之间的工程取舍。

状态空间模型（SSM）与线性注意力是混合层设计的两个主要构件。SSM 以递归方式维护一个固定大小的隐状态，逐 token 更新，计算复杂度随序列长度线性增长，代表工作是 Mamba 系列；线性注意力则通过核函数近似或用可结合的结合律重写注意力，把二次复杂度降为线性。二者共同点是推理时状态大小恒定、长序列开销低，但代价是难以像全注意力那样对任意历史位置做精确的内容寻址。混合层的典型做法是按固定比例（如每若干层插入一层全注意力）混排，使模型在保持长上下文效率的同时，保留足够的精确召回能力。这一配比本身即是可调的超参数，直接影响模型的上下文长度上限与推理成本。

三值权重：把量化推到极致

三值权重把每个权重约束到三个取值（通常为负一、零、正一），本质上是把低比特量化推向极端。其价值不在于精度本身，而在于存储与算力的双重压缩：权重可以用极小的位宽表示，乘法运算可退化为加减与选择操作。

需要清醒看待的是，三值权重目前更多出现在研究与实验性模型中，距离成为主流开源权重的默认配置仍有距离。它代表的是量化研究的一条边界探索路径，而非已经成熟的部署方案。

量化与算术强度有助于定位三值权重的坐标。常规低比特量化（如 INT8、INT4）在权重之外还保留缩放因子与零点，以较小精度损失换取存储和带宽节省；三值权重进一步把取值压缩到 {-1, 0, +1}，乘加运算可退化为符号翻转与加法，理论上可用极低功耗硬件执行。但极端量化对激活值分布和训练过程敏感，通常需要量化感知训练（QAT）而非训练后量化（PTQ）来维持可用精度。算术强度指每字节数据搬运所对应的运算次数，三值权重通过减少权重位宽提升算术强度，从而缓解内存带宽瓶颈——这正是它在边缘与专用加速器场景受关注的原因，也是其尚未成为主流默认配置的现实约束。

三条路线的共同逻辑

把 MoE、混合层、三值权重放在一起看，会发现它们回答的是同一个问题：在给定硬件条件下，如何让模型的有效容量最大化。MoE 扩张参数而不扩张计算，混合层优化序列建模的复杂度结构，三值权重压缩存储与算术强度。三者可以叠加，也各自独立成立。

对关注开源权重的开发者和研究者而言，理解这些架构选择比记住某个模型的跑分更有长期价值——它们决定了模型能被部署在什么硬件上、能处理多长的上下文、以及微调与推理的成本边界在哪里。