Unverified50% confidenceFactExact time
Agnes-3.0-Flash 的全局注意力层采用 24 个 query head 与 4 个 KV head 的 6:1 GQA，head dim 为 256，对 q 和 k 施加 RMS-norm，输出经过 sigmoid 门控
1
Sources
50%
Confidence
Long-term
Relevance
9/12/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedAgnes-3.0-Flash 的 delta-rule 层配置为 16 个 key head、48 个 value head，head dim 128，前置 kernel 为 4 的因果卷积，配合门控 RMS-norm，循环状态以 fp32 精度保存79% similarUnverifiedAgnes-3.0-Flash 总层数为 72 层，由 54 层 delta-rule 循环层和 18 层全局注意力层按 3:1 交替排列，隐藏维度 5120，词表大小 248,32076% similarUnverifiedLing-3.0-flash 模型总参数量为124B，每 token 激活参数约5.1B，采用 KDA + MLA 混合注意力机制，上下文长度为262k69% similarUnverifiedQwen3 27B在64层中的48层采用线性注意力，其余16层搭配标准门控注意力66% similarUnverifiedArtificial Analysis 平台上将 Agnes-3.0-Flash 标注为专有模型（Proprietary model），AA 综合评分为 3665% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/916672API
curl https://kongchang.com/api/v1/knowledge/claims/916672MCP
get_claim(id=916672)