待验证50% 置信发布精确时间
讯飞开源了Spark X 2.5的4B与1.7B两个小模型，面向端侧agent场景，采用混合注意力架构，原生支持最高100万token上下文
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/12
首次发现
有效期至：2026/12/11
来源
涉及实体
相关事实
待验证Hymba是NVIDIA于2024年提出的混合头注意力架构，在同一层内同时部署SSM头和注意力头，通过可学习门控机制融合输出，在1.5B参数规模下超越同规模纯Transformer和纯SSM模型67% 相似待验证该模型架构为交叉注意力 DiT（896 宽 × 16 层），使用 2D RoPE、QK-norm、SwiGLU、adaLN-single66% 相似待验证GLM-5.3-Flash采用稀疏注意力与线性注意力的混合架构，并完全运行于国产AI芯片集群65% 相似待验证许多HuggingFace模型仓库已经提供了ONNX版本，特别是针对CPU和移动端优化的量化模型62% 相似待验证LLaMA-2 70B采用80层、64个注意力头的架构，并使用GQA（8个KV头共享64个Q头）62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/912723API
curl https://kongchang.com/api/v1/knowledge/claims/912723MCP
get_claim(id=912723)