RISA:面向块扩散语言模型的可恢复稀疏注意力

RISA为块扩散语言模型设计块内共享、可恢复的稀疏注意力,显著加速长上下文推理。
RISA是一种面向块扩散语言模型的长上下文稀疏注意力方法,旨在解决每个去噪步骤重复读取不断增长的历史KV缓存所带来的内存瓶颈。其核心观察是块内历史KV固定而查询随去噪步骤演化,因此利用种子查询构建一个受保护、有界的读取计划,并在块内所有步骤复用该计划的页面索引,注意力则用新鲜查询重新计算。历史KV被组织为精确优先级层与恢复层级,避免永久逐出导致的信息丢失。在DreamReasoner-8B上,32K上下文下注意力加速2.67倍,128K下达到5.53倍,任务性能可比;在匹配KL散度条件下解码速度快于MAGE、QUEST和LoSA,且无需修改模型主干或解码器。
块扩散语言模型(Block-wise Diffusion Language Models, DLMs)通过并行细化多个token,为逐token自回归解码提供了替代方案。然而,其长上下文推理仍受限于内存瓶颈:每个去噪步骤都需要重复读取不断增长的历史键值(KV)缓存。直接应用稀疏注意力并不能完全解决问题,因为不同查询可能选择不同的页面,从而膨胀块的集体读取集合,同时重复构建支持集会增加开销,而永久逐出可能丢弃后续所需的信息。为此,研究者提出RISA——一种面向块扩散语言模型的、具有共享读取计划的可恢复稀疏注意力方法。

块扩散模型的长上下文瓶颈
块扩散语言模型在推理时,每个去噪步骤都会重新读取历史KV缓存。随着上下文增长,这一读取开销成为主要瓶颈。稀疏注意力虽能减少读取量,但面临两个挑战:不同查询选择的稀疏页面可能不同,导致块级别的读取集合膨胀;重复构建稀疏支持集带来额外计算开销;永久逐出历史信息可能影响后续步骤的准确性。
RISA的核心观察是:在块内,历史KV保持不变,而查询随去噪步骤演化。利用这一特性,RISA将新生成的历史组织为精确优先级和恢复层级,并通过种子查询构建受保护、有界的读取计划;该计划的索引在块内复用,而注意力则用新鲜查询和当前块KV重新计算。这样,历史保留与重复读取分离,稀疏支持集构建的开销被分摊,且无需修改主干模型或解码器。
KV缓存(Key-Value Cache) 是自回归与扩散语言模型推理时的关键内存结构:模型在生成每个token时,会为历史所有token计算键(K)和值(V)向量并缓存,供后续注意力计算直接复用,避免重复编码。然而缓存大小随上下文长度线性增长,长上下文场景下每个去噪步骤都要从显存中完整读取历史KV,形成内存带宽瓶颈。块扩散模型虽并行细化多个token,但每个去噪步骤仍需读取不断增长的历史缓存,因此读取开销成为长上下文推理的主要限制。稀疏注意力通过只读取部分历史页面来缓解该问题,但页面选择的动态性会削弱块级读取的收益。
稀疏注意力(Sparse Attention) 是一类通过只计算查询与部分历史token(或页面)之间注意力来降低计算与内存开销的技术。常见做法包括基于固定模式(如滑动窗口、局部块)、基于内容的路由(如QUEST、MAGE)或基于预算的近似(如LoSA)。在自回归解码中,每个查询独立选择稀疏支持集即可;但在块扩散模型中,一个块内多个查询在不同去噪步骤演化,若各自选择不同页面,块级实际读取的页面并集会膨胀,抵消稀疏化收益。此外,每一步重新构建支持集本身也带来显著开销,因此需要一种块内共享、可复用的读取计划来同时控制读取集合与构建成本。
RISA的设计与工作机制
RISA将历史KV分为精确优先级和恢复层级。精确优先级层存储当前块最可能需要的历史信息,而恢复层级保留可能在未来步骤中需要但当前未选中的信息,避免永久逐出。种子查询(块内初始查询)用于构建一个受保护、有界的读取计划,该计划包含一组页面索引,在块内所有去噪步骤中复用。每个步骤中,注意力计算使用当前查询和当前块KV,但历史读取仅访问计划中的页面。
这种设计将稀疏支持集的构建开销分摊到整个块,而非每个步骤重复构建。同时,由于读取计划在块内固定,块级集体读取集合得到控制,避免了因不同查询选择不同页面而导致的读取膨胀。恢复层级则确保被逐出的信息在需要时可恢复,平衡了稀疏性与准确性。
种子查询(Seed Query) 指块扩散去噪过程中块内初始或早期步骤的查询表示。由于后续去噪步骤的查询由初始查询逐步细化而来,种子查询与最终查询在注意力分布上具有较高相关性。RISA利用这一特性,用种子查询预先构建一个受保护、有界的页面读取计划,并在块内所有去噪步骤中复用该计划的索引。这样,计划构建只需在块开始时执行一次,其开销被分摊到整个块;同时块内所有查询共享同一读取集合,避免了逐查询选择导致的页面并集膨胀。注意力权重仍用每个步骤的新鲜查询与当前块KV重新计算,从而在保持稀疏读取的同时不牺牲块内细化的表达能力。
性能表现与实验验证
在DreamReasoner-8B模型上,RISA保持了可比较的任务性能。在32K上下文长度下,默认配置相比稠密注意力实现了2.67倍的注意力加速,固定轨迹请求加速1.36倍;在128K时,注意力加速达到5.53倍。在三个模型的八种设置下,RISA在匹配KL散度的条件下,解码速度快于测试的MAGE、QUEST和LoSA预算。
这些结果表明,RISA在长上下文场景中显著提升了块扩散语言模型的推理效率,同时保持了任务性能。其无需修改模型架构的特性也便于集成到现有系统中。
KL散度匹配 是评估近似注意力方法保真度的常用准则:将稀疏注意力模型的输出分布与稠密注意力(全量KV)的输出分布进行比较,在给定KL散度阈值下衡量两者差异。若稀疏方法能在相同KL散度(即相近的输出分布偏差)下实现更低延迟,则说明其在保真度与效率之间取得了更优权衡。RISA在三个模型、八种设置下与MAGE、QUEST、LoSA等基线在匹配KL散度的条件下比较解码速度,结果显示RISA更快,表明其共享读取计划与可恢复层级设计在保持注意力近似质量的同时,有效降低了长上下文推理的读取开销。
意义与展望
RISA通过利用块扩散模型的内在特性——历史KV在块内固定——实现了高效的可恢复稀疏注意力。这种方法不仅缓解了长上下文推理的内存瓶颈,还为稀疏注意力在扩散语言模型中的应用提供了新思路。未来,RISA或可进一步优化恢复层级的组织策略,或与更广泛的稀疏模式结合,推动块扩散模型在长上下文任务中的实际部署。
相关推荐

Gemini 4 Hydrogen 对比测试:仅耗1%周配额,表现不输Sonnet
实测Gemini 4 Hydrogen与Sonnet完成同一CRUD任务:Hydrogen仅耗1%周配额,表现相当且UI细节更优,而Anthropic模型耗7%。开发者建议日常任务不必迷信高价模型。

Gemini 4 Neon发布:多项基准超越Opus 5.5,谷歌重回第一梯队
谷歌DeepMind发布Gemini 4 Neon,Artificial Analysis智能指数61分排名第三,编程指数登顶第一,多项基准超越Opus 5.5,定价每百万token输入3美元输出15美元,已在Gemini API和AI Studio开放。

Gemini 4 Neon评测:跑分直逼Carbon,API性价比解析
Google Gemini 4 Neon 全面评测:跑分直逼 Carbon,API 定价为 Hydrogen 两倍,Antigravity 额度消耗仅一倍而 Carbon 为三倍,实测可替代 90% Carbon 场景。附渠道限制、封号风险与组合策略分析。