待验证50% 置信事实精确时间
NVIDIA 的 Nemotron-H 几乎把所有注意力层都替换成了 Mamba-2 层。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
待验证Nemotron-H 是 NVIDIA 于 2025 年发布的混合架构系列模型，将 Mamba 状态空间模型层与标准 Transformer 注意力层交替堆叠77% 相似待验证ExLlamaV3 v1.0.0 彻底移除了 flash-attention-2 和 xformers 依赖，改用自研注意力内核61% 相似待验证已有Mamba-2及与Transformer混合的架构（如Jamba）问世，将注意力机制与SSM层交替叠加59% 相似待验证Qwen3.8-Flash-Next使用GDN加QSA的混合注意力机制，MoE层使用512个专家和Top-10路由56% 相似待验证Qwen3.8-Flash-Next采用GDN加QSA的混合注意力机制，总参数125B外加51B的N-gram嵌入，每个Token仅激活约6B参数55% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1029833API
curl https://kongchang.com/api/v1/knowledge/claims/1029833MCP
get_claim(id=1029833)