[控场AI]
· 6 分钟阅读· 3,034 字

Latent Lattice:用持久层间状态突破语言模型计算瓶颈

Latent Lattice:用持久层间状态突破语言模型计算瓶颈

Lattice of Latents通过增加逐层持久的水平潜状态扩展计算容量,参数量不变下困惑度显著下降。

Lattice of Latents提出一种新的语言模型架构扩展路径:不加深层数、不引入循环权重,而是为每一层增设一组沿时间循环的水平潜状态,与垂直残差流并行。这些潜状态直接参与注意力计算、KV缓存写入和MLP运算,被提升为与主计算流对等的条件信号。在406M参数、20B token训练下,验证困惑度从15.41降至14.40,参数量完全匹配;与超连接和输入残差叠加后进一步降至13.61,显示互补性。在Gated DeltaNet、Mamba-2等架构上普遍改善,小状态Lattice变体可超越大4倍状态基线。作者将持久层间状态识别为扩展语言模型计算的独立轴,但其推理延迟影响和更大规模下的表现尚待验证。

语言模型提升单token计算量的常规路径,通常是加深网络层数、引入循环层,或是增加潜在推理步骤。而一种名为Lattice of Latents(潜在格)的新架构,选择了一条不同的路:增加模型维持的活跃计算状态数量。

从残差流到并行潜状态

传统Transformer依赖一条垂直的残差流贯穿深度,信息随层数逐级传递。超连接(hyper-connections)、mHC、注意力残差或值残差等改进,本质上都在优化这条垂直通路。Lattice of Latents则另辟蹊径:它为每一层增设一组水平的潜在流,这些潜流沿时间维度循环运行,与垂直残差流并行存在。

关键在于,这些潜状态并非像混合Transformer-SSM架构那样仅作为序列混合的内部记忆。它们直接参与垂直流的注意力计算、KV缓存写入、MLP运算和解码过程。换句话说,潜状态被提升为与主计算流对等的条件信号,而非被动的中间变量。

残差流(Residual Stream) 是Transformer架构中的核心概念,指每一层输出通过残差连接累加形成的一条贯穿整个网络深度的信息通路。在标准Transformer中,每一层的注意力子层和前馈子层都会将自己的计算结果加到这条流上,因此残差流可以视为模型在不同抽象层级间传递和累积信息的“共享工作区”。超连接(Hyper-Connections)等改进通过引入多条并行残差流或可学习的连接权重来增强这条通路的表达能力,但本质仍在优化垂直方向的信息流动。理解残差流的角色有助于把握Lattice of Latents的差异化设计:它并未取代或优化垂直残差流,而是在其旁边新增了一组水平方向的、跨token持久的潜状态流,使模型在深度之外获得额外的并行计算状态。

KV缓存(KV Cache) 是自回归语言模型推理时的关键机制。在生成每个新token时,模型需要计算注意力,而注意力需要当前token的查询向量与所有历史token的键(Key)和值(Value)向量进行交互。为避免重复计算历史token的键值,推理系统会将其缓存起来,即KV缓存。KV缓存的大小随序列长度线性增长,是长上下文推理的主要内存瓶颈之一。Lattice of Latents让潜状态直接参与KV缓存写入,意味着这些水平潜流不仅影响当前层的注意力计算,还会将信息注入到后续token可访问的缓存中。这与仅作为序列混合内部记忆的SSM状态有本质区别:后者通常不进入注意力键值空间,而Lattice的潜状态成为注意力机制可直接读取的条件信号。

实验数据:参数不变,困惑度全面下降

在20B FineWeb-Edu token上训练的Transformer中,406M参数的Lattice模型将验证困惑度从15.41降至14.40,而参数量与基线完全匹配。这一增益在多种架构变体上均可复现。

更值得关注的是与已有残差增强技术的叠加效果。当结合超连接和输入残差时,基线Transformer的困惑度为15.41,加入相同增强后为14.22,再叠加Lattice后进一步降至13.61。这说明Lattice提供的计算容量与残差通路的优化是互补关系,而非替代关系。

在Gated DeltaNet、Mamba-2、Triadic GDN以及GDN-Mamba-2混合架构上,Lattice在每一个测试的原生状态尺寸下都改善了困惑度。其中Lattice-GDN和Lattice-Triadic-GDN变体甚至优于原生状态大4倍的纯基线模型。

Gated DeltaNet、Mamba-2与Triadic GDN 是近年来出现的线性注意力与状态空间模型变体。Mamba-2基于选择性状态空间模型(SSM),通过输入依赖的状态转移实现高效的序列建模,其核心是一个沿时间维度递归更新的隐状态。Gated DeltaNet则属于线性注意力家族,使用Delta规则(一种基于预测误差的更新规则)配合门控机制来维护一个矩阵型记忆状态。Triadic GDN是DeltaNet的扩展,引入三元交互以增强状态更新表达能力。这些架构的共同特点是维护一个原生状态(native state)用于序列混合,其状态尺寸是重要的容量超参数。Lattice of Latents在这些架构上普遍改善困惑度,且小状态Lattice变体可超越大4倍状态的纯基线,说明水平潜状态提供的容量与原生序列混合状态形成互补,而非简单替代。

持久层间状态:语言模型扩展的新维度

这些结果指向一个清晰的结论:持久的逐层状态可以作为扩展语言模型计算的独立轴。过去我们习惯在深度(更多层)、宽度(更大隐维度)或循环(共享层权重)上做文章,而Lattice提示,层与层之间横向流动的、跨token持续存在的计算状态,本身就构成了一种被低估的容量来源。

这一思路与循环架构有本质区别。循环层共享权重、沿深度展开时间,而Lattice的潜状态是逐层独立的,且沿时间循环。它也不等同于SSM的记忆机制,因为潜状态直接参与注意力与MLP的条件化,而非仅服务于序列混合。

从工程角度看,这种设计可能带来内存与计算之间新的权衡。潜状态需要跨token持久存在,意味着额外的缓存开销,但换来的参数量不变条件下的性能提升,在推理场景中或许值得。论文未讨论推理延迟的具体影响,这将是后续需要验证的方向。

论文作者总结道,这些结果将持久层间状态识别为扩展语言模型计算的一个互补轴。对于正在探索Transformer之外架构的研究者而言,Lattice of Latents提供了一个可与现有残差增强、线性注意力、状态空间模型组合的模块化组件。

Latent Lattice Language Models 论文截图

困惑度(Perplexity) 是语言模型评估中最常用的内在指标,定义为模型对验证集token序列的负对数似然的指数。困惑度越低,表示模型对真实文本的预测越自信、越准确。在固定分词器和验证集的前提下,困惑度下降1个点(如从15.41降至14.40)通常意味着模型分配概率的质量有实质性提升,但这一改善的绝对意义需结合训练规模判断。20B token的训练规模属于中等偏小,在此规模上观察到的增益能否在更大模型和更多数据上保持,是评估架构创新价值的关键。此外,困惑度改善不直接等价于下游任务性能提升,因此论文结论仍需在GLUE、SuperGLUE、推理基准等任务上进一步验证。

多源视角下的定位

据rss来源的论文摘要,Lattice的核心创新在于将潜状态从“内部记忆”提升为“条件信号”。这一表述与当前混合架构(如Mamba与Transformer结合)的设计哲学形成对照。在混合架构中,SSM状态主要承担序列混合职责;而Lattice的潜状态直接写入KV缓存、参与MLP计算,角色更接近一个并行的、跨层持久的计算工作区。

目前该工作以论文形式发布,尚无独立的第三方复现或社区讨论佐证。其增益幅度(困惑度降低约1个点)在20B token规模上具有统计意义,但在更大规模模型和更多下游任务上的表现仍需观察。对于关注架构创新的读者,Lattice的模块化特性使其值得纳入实验清单。

#Lattice of Latents#语言模型架构#残差流#困惑度#潜状态#Transformer改进#状态空间模型
分享:

相关推荐