待验证50% 置信事实精确时间
MiniMax-01 和 Jamba 将线性注意力对 softmax 注意力的比例推到 7:1 或 8:1，并额外叠加了 MoE 结构。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
已验证自注意力权重通过Softmax函数归一化，权重总和恒为173% 相似待验证Qwen3-Next 和 Kimi Linear 都采用 3:1 的线性注意力对 softmax 注意力比例。70% 相似待验证标准自注意力的计算复杂度为序列长度的平方，实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术66% 相似待验证标准Softmax注意力在极长序列上存在注意力湮没（Attention Sink）问题，催生了Sliding Window Attention、RoPE外推、ALiBi等改进方案66% 相似待验证标准自注意力的计算量与序列长度呈O(n²)增长，限制了上下文窗口的规模64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1029832API
curl https://kongchang.com/api/v1/knowledge/claims/1029832MCP
get_claim(id=1029832)