线性注意力图解指南:从Delta Rule到Gated DeltaNet与Kimi Linear

Reddit 作者的图解指南梳理线性注意力从早期想法到 Gated DeltaNet 与 Kimi Linear 的演进脉络。
本文介绍了一份 Reddit 作者发布的四部分图解博客,系统梳理线性注意力的技术演进:从早期线性注意力,到 Delta Rule、Gate Rule,再到 Gated DeltaNet 与 Kimi Linear。文章指出,线性注意力通过递推式状态更新将复杂度从二次降到线性,适合长上下文场景;Delta Rule 引入误差修正式更新,Gate Rule 引入门控选择,两者共同提升状态记忆效率;Gated DeltaNet 与 Kimi Linear 则代表该路线走向工程化落地。文章也提醒,原帖未提供具体性能对比数据,更适合作为概念梳理入口,作者还计划推出基础设施视角的后续系列。
为什么线性注意力值得一份图解指南
线性注意力(Linear Attention)并不是新概念,但过去几年里,它从一个「理论上更快的替代方案」逐渐演变为一系列有明确设计动机的工程化模型。Reddit 上有作者发布了一份四部分图解博客,系统梳理了这条技术脉络:从早期线性注意力,到 Delta Rule、Gate Rule,再到 Gated DeltaNet 与 Kimi Linear。作者表示,他通读了关键论文并绘制插图,目的是让算法本身和背后的直觉更容易理解。
这类内容的价值在于填补了一个空白:线性注意力的论文往往公式密集,而工程博客又常跳过推导直接给结论。图解形式把「为什么这样设计」放回视觉语境中,对想入门或交叉验证理解的读者更友好。

线性注意力的核心思路:把二次复杂度降下来
标准注意力机制需要对序列中每对位置计算相似度,复杂度随序列长度呈二次增长,长上下文场景下显存和计算开销都很可观。线性注意力的基本思路是用核函数近似或重构注意力计算,使其可以按序列顺序递推,从而把复杂度降到线性级别。
这份指南从「原始想法」讲起,恰好对应了理解后续改进的前提:早期线性注意力虽然快,但在表达能力和记忆机制上存在明显短板。后续的 Delta Rule、Gate Rule 等设计,本质上都是在修补这些短板,而不是推翻线性注意力的框架。
从近似到递推:理解状态更新的视角
把线性注意力看作一种带状态的递推结构,是理解整个演进线的关键。模型在每一步维护一个隐状态,并随新输入更新。这个视角下,不同变体的差异就落在「状态如何更新」上——这也正是 Delta Rule 和 Gate Rule 各自要解决的问题。
线性注意力与循环神经网络(RNN)在计算形式上高度相似,二者都维护一个随序列递推更新的隐状态。区别在于,线性注意力的状态由键值对的外积累加构成,状态维度固定,不随序列长度增长,因此可以在训练时并行化(通过前缀和或分块扫描),而传统 RNN 必须串行执行。正是这种「训练可并行、推理可递推」的双重特性,使线性注意力在长上下文场景中比标准注意力更具效率优势。理解这一点,有助于把握后续 Delta Rule 与门控机制为何要围绕状态更新做文章。
Delta Rule 与 Gate Rule:修补记忆更新机制
Delta Rule 的思路是让状态更新更有针对性,而不是简单地累加信息。它引入了类似「误差修正」的机制,使模型在写入新信息时考虑已有状态,从而提升记忆的利用效率。Gate Rule 则从门控角度出发,控制信息写入与保留的比例,让状态更新具备选择性。
这两个概念是理解 Gated DeltaNet 的前置知识。指南把 Delta Rule 和 Gate Rule 分别拆开讲解,再引出两者的结合,这种组织方式符合技术演进的因果逻辑:先有独立的问题意识,再有组合式的解决方案。
门控为什么重要
在长序列中,不加区分地累加信息会导致状态被稀释或覆盖。门控机制提供了一种动态调节手段,让模型决定哪些信息值得保留、哪些可以丢弃。这与 RNN 时代的门控思想一脉相承,但在线性注意力的递推框架下有了新的实现形式。
门控机制在线性注意力中通常以逐通道或逐头的方式实现,即对每个特征维度学习一个 0 到 1 之间的衰减系数,控制历史状态保留多少、新信息写入多少。这与 LSTM 中的遗忘门在直觉上一致,但实现更轻量:无需额外的非线性激活网络,通常直接由输入投影得到。门控的引入使线性注意力具备了「选择性遗忘」的能力,缓解了固定大小状态在超长序列中被旧信息占满、新信息无法有效写入的问题。Gated DeltaNet 正是将这种门控与 Delta Rule 的误差修正结合,形成更精细的状态管理策略。
Gated DeltaNet 与 Kimi Linear:走向工程化
Gated DeltaNet 可以理解为把 Delta Rule 的误差修正与门控机制结合起来的一类线性注意力架构,目标是兼顾记忆精度和更新效率。Kimi Linear 则是这条路线上的进一步探索,代表了线性注意力在真实模型设计中的落地尝试。
指南将这两者放在演进线的末端,说明作者认为它们是对前面所有设计动机的综合回应。对于关注长上下文、推理效率的读者,这部分是理解「线性注意力现在能做什么」的关键。
你可能没注意到,作者在 Reddit 帖子中并未给出各模型的详细性能对比数据,而是聚焦于算法直觉和插图解释。因此这篇文章更适合作为概念梳理的入口,而非选型依据。若需要具体指标,仍需回到原论文核实。
Kimi Linear 是月之暗面(Moonshot AI)提出的线性注意力架构,其核心是在线性注意力中引入细粒度的门控与分块并行策略,以适配大规模训练和推理。它并非单一算法,而是一套面向工程落地的设计组合,涉及 kernel 实现、分块扫描、显存布局等系统层面的优化。因此,理解 Kimi Linear 不仅需要算法直觉,还需要关注其并行化实现方式。作者计划中的基础设施后续系列,正是针对这一层面展开,对做推理部署的读者尤为相关。
如何高效使用这份指南
作者的博客按四部分组织,建议按顺序阅读:先建立线性注意力的基本递推视角,再依次理解 Delta Rule、Gate Rule,最后看 Gated DeltaNet 与 Kimi Linear 如何组合这些思想。图解的价值在于随时可以停下来对照公式,不必一次读完。
作者还提到,计划推出一个从 AI 基础设施角度探讨线性注意力的后续系列。这意味着当前这份指南偏重算法与直觉,基础设施视角(如 kernel 实现、显存布局、并行策略)会在后续补充。对做推理部署的读者,可以留意这个方向。
作者在帖子中明确欢迎反馈、纠错和建议,这种开放态度对技术博客的长期质量很重要。如果你在读图过程中发现与论文不符之处,直接反馈会比默默略过更有价值。
相关推荐

Gemini 4 Hydrogen发布:速度提升2.5倍的日常AI模型
Google发布Gemini 4 Hydrogen,宣称比Gemini 3.8 Flash快2.5倍,支持四级思考控制、百万token上下文和Orchestrator多模型协作,API定价每百万输入token 1.50美元。

Gemini 4 Hydrogen实测:谷歌最快最便宜AI模型
谷歌 Gemini 4 Hydrogen 实测:Gemini 4 家族中最快最便宜的模型,解析 Carbon/Argon/Hydrogen 分工、API 定价陷阱、免费层限制与四档思考等级的成本取舍,附真实 bug 调试演示。

Gemini 4 Hydrogen 对比测试:仅耗1%周配额,表现不输Sonnet
实测Gemini 4 Hydrogen与Sonnet完成同一CRUD任务:Hydrogen仅耗1%周配额,表现相当且UI细节更优,而Anthropic模型耗7%。开发者建议日常任务不必迷信高价模型。