Agnes-3.0-Flash
33B参数规模的混合注意力多模态模型，支持262,144 token超长上下文窗口，采用3:1混合注意力架构（门控delta rule循环层与全局注意力层交替），支持文本、图像、视频的联合理解及工具调用
时间轴 (近 90 天)
Agnes-3.0-Flash 是一款 33B 参数规模的多模态模型，支持文本、图像和视频的联合理解
Agnes-3.0-Flash 提供 262,144 token 的上下文窗口
Agnes-3.0-Flash 提供可调节的推理努力程度（adjustable reasoning effort）和工具调用能力
Agnes-3.0-Flash 采用混合注意力解码器，每四层中有三层运行门控 delta rule，第四层运行标准全局注意力
Agnes-3.0-Flash 总层数为 72 层，由 54 层 delta-rule 循环层和 18 层全局注意力层按 3:1 交替排列，隐藏维度 5120，词表大小 248,320
Agnes-3.0-Flash 的全局注意力层采用 24 个 query head 与 4 个 KV head 的 6:1 GQA，head dim 为 256，对 q 和 k 施加 RMS-norm，输出经过 sigmoid 门控
Agnes-3.0-Flash 的 delta-rule 层配置为 16 个 key head、48 个 value head，head dim 128，前置 kernel 为 4 的因果卷积，配合门控 RMS-norm，循环状态以 fp32 精度保存
Agnes-3.0-Flash 前馈网络使用 SwiGLU，中间维度 17408，每层并联一个 2048 维的 SwiGLU 分支
Agnes-3.0-Flash 位置编码采用三轴旋转（文本、高度、宽度），交错 mrope 分段比例为 11:11:10，base 为 1e7，仅应用于每个 head dim 的前 25%（64 维）
Agnes-3.0-Flash 配备独立视觉编码器：27 层，隐藏维度 1152，patch 大小 16，经过 2×2 空间合并后投影到 5120 维
还有 3 条时间轴事件
全部知识事实 (11)
Agnes-3.0-Flash 是一款 33B 参数规模的多模态模型，支持文本、图像和视频的联合理解
50%待验证Agnes-3.0-Flash 提供 262,144 token 的上下文窗口
50%待验证Agnes-3.0-Flash 提供可调节的推理努力程度（adjustable reasoning effort）和工具调用能力
50%待验证Agnes-3.0-Flash 采用混合注意力解码器，每四层中有三层运行门控 delta rule，第四层运行标准全局注意力
50%待验证Agnes-3.0-Flash 总层数为 72 层，由 54 层 delta-rule 循环层和 18 层全局注意力层按 3:1 交替排列，隐藏维度 5120，词表大小 248,320
50%待验证Agnes-3.0-Flash 的全局注意力层采用 24 个 query head 与 4 个 KV head 的 6:1 GQA，head dim 为 256，对 q 和 k 施加 RMS-norm，输出经过 sigmoid 门控
50%待验证Agnes-3.0-Flash 的 delta-rule 层配置为 16 个 key head、48 个 value head，head dim 128，前置 kernel 为 4 的因果卷积，配合门控 RMS-norm，循环状态以 fp32 精度保存
50%待验证Agnes-3.0-Flash 前馈网络使用 SwiGLU，中间维度 17408，每层并联一个 2048 维的 SwiGLU 分支
50%待验证Agnes-3.0-Flash 位置编码采用三轴旋转（文本、高度、宽度），交错 mrope 分段比例为 11:11:10，base 为 1e7，仅应用于每个 head dim 的前 25%（64 维）
50%待验证Agnes-3.0-Flash 配备独立视觉编码器：27 层，隐藏维度 1152，patch 大小 16，经过 2×2 空间合并后投影到 5120 维
50%待验证在超长上下文下将承担 KV cache 开销的层数压缩到总层数四分之一，可大幅降低长上下文推理的显存成本，是长上下文模型架构演进的重要方向
50%