待验证50% 置信事实精确时间
InclusionAI 的 Ling 3.0 Flash 采用混合 MoE 设计,解码器将五个 Kimi Delta Attention(KDA)层与一个 Multi-head Latent Attention(MLA)层分组,已在 Transformers 中原生支持,加载类为 BailingHybridForCausalLM。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至:2027/1/13
来源
涉及实体
相关事实
待验证盘古2.0 Flash提供512K的超长上下文窗口,采用MLA、DSA和SWA三种注意力机制的组合设计63% 相似待验证Step 3.5 Flash采用混合注意力系统(Hybrid Attention),对短内容使用滑动窗口注意力,对长内容切换为完整注意力机制61% 相似待验证Jagged Flash Attention(JFA)直接处理变长(jagged)序列,避免为对齐而填充无效token59% 相似待验证MiniMax H3 架构用统一的 Transformer 骨干同时处理文本、图像和视频等不同模态的条件输入,H3 中的'H'通常指代混合注意力(Hybrid Attention)机制,结合局部窗口注意力与全局注意力59% 相似待验证GLM-5.3-Flash采用MIT许可证开源,支持图像、Token等多模态输入58% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1039063API
curl https://kongchang.com/api/v1/knowledge/claims/1039063MCP
get_claim(id=1039063)