待验证50% 置信事实精确时间
Agnes-3.0-Flash 的全局注意力层采用 24 个 query head 与 4 个 KV head 的 6:1 GQA，head dim 为 256，对 q 和 k 施加 RMS-norm，输出经过 sigmoid 门控
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
待验证Agnes-3.0-Flash 的 delta-rule 层配置为 16 个 key head、48 个 value head，head dim 128，前置 kernel 为 4 的因果卷积，配合门控 RMS-norm，循环状态以 fp32 精度保存79% 相似待验证Agnes-3.0-Flash 总层数为 72 层，由 54 层 delta-rule 循环层和 18 层全局注意力层按 3:1 交替排列，隐藏维度 5120，词表大小 248,32076% 相似待验证Ling-3.0-flash 模型总参数量为124B，每 token 激活参数约5.1B，采用 KDA + MLA 混合注意力机制，上下文长度为262k69% 相似待验证Qwen3 27B在64层中的48层采用线性注意力，其余16层搭配标准门控注意力66% 相似待验证Artificial Analysis 平台上将 Agnes-3.0-Flash 标注为专有模型（Proprietary model），AA 综合评分为 3665% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/916672API
curl https://kongchang.com/api/v1/knowledge/claims/916672MCP
get_claim(id=916672)