待验证50% 置信事实精确时间
Delta-rule线性注意力是Kimi Linear和Qwen3-Next等语言模型的底层机制。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证KDA(Kernelized Delta Attention)将Delta规则核化,试图在递归状态和注意力之间找到更平滑的插值。62% 相似待验证多数 SSM 和线性注意力模型在底层都使用了线性注意力机制,Mamba-2 通过 SSD 结构实现,xLSTM 通过协方差更新实现。62% 相似待验证Mamba-2、Gated DeltaNet和KDA是三种新型状态更新机制,用于替代部分注意力层,以线性复杂度的递归结构实现高效状态记忆。62% 相似待验证混合语言模型在架构中交替或组合使用全注意力层与线性注意力、状态空间模型(如Mamba)等高效层,全注意力层需为每个历史token保存键值向量,开销随序列长度线性增长;线性注意力层则以固定大小的递归状态代替KV缓存。61% 相似已验证Qwen3引入了思考模式与非思考模式的动态切换机制60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129578API
curl https://kongchang.com/api/v1/knowledge/claims/1129578MCP
get_claim(id=1129578)