待验证50% 置信事实精确时间
Qwen3-Next 和 Kimi Linear 都采用 3:1 的线性注意力对 softmax 注意力比例。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
待验证Qwen3 27B将三层线性注意力与一层完整注意力组合成循环结构，比例为3:178% 相似待验证Kimi K3采用Kimi Delta Attention混合线性注意力机制，通过核函数近似将注意力计算复杂度从O(N²)降到O(N)72% 相似待验证K3将线性注意力层与标准注意力层混合使用，以在精度与效率之间寻求平衡71% 相似待验证Kimi K3采用Attention Vigilance技术，为注意力路径构建贯穿全层的独立长叉通路，解决深度稀释问题71% 相似待验证MiniMax-01 和 Jamba 将线性注意力对 softmax 注意力的比例推到 7:1 或 8:1，并额外叠加了 MoE 结构。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1029831API
curl https://kongchang.com/api/v1/knowledge/claims/1029831MCP
get_claim(id=1029831)