IQuest-Q1
由IQuest_research团队推出的320B参数混合专家（MoE）模型，专为智能编程场景设计，支持512K超长上下文窗口，每token仅激活150亿参数，具备稀疏激活架构
时间轴 (近 90 天)
IQuest-Q1 是由 IQuest_research 团队推出的专为智能编程（agentic coding）场景设计的 320B 参数混合专家（MoE）模型
IQuest-Q1 拥有 3200 亿总参数，每个 token 仅激活 150 亿参数
IQuest-Q1 配备 256 个专家，每次推理过程中仅有 8 个专家处于激活状态
IQuest-Q1 支持高达 524,288 tokens（512K）的上下文窗口
IQuest-Q1 采用 3 层滑动窗口注意力搭配 1 层完整注意力的混合比例，在 88 层中只有 25 层会随上下文增长扩展 KV 缓存
IQuest-Q1 让约 28% 的层参与全局缓存增长，大幅降低显存压力
IQuest-Q1 的 checkpoint 要求使用 sink attention，vLLM 的注意力后端提供了对应的 sinks path 来支持
IQuest-Q1 利用 vLLM 中的 EAGLE 推测解码配合概率化草稿采样，由递归的 MTP（Multi-Token Prediction）头完成草稿生成
IQuest-Q1 的 day-0 支持源于针对 vLLM 已有的三大能力——混合 KV 缓存、sink attention 路径、EAGLE 推测解码——来设计模型架构
全部知识事实 (9)
IQuest-Q1 是由 IQuest_research 团队推出的专为智能编程（agentic coding）场景设计的 320B 参数混合专家（MoE）模型
50%待验证IQuest-Q1 拥有 3200 亿总参数，每个 token 仅激活 150 亿参数
50%待验证IQuest-Q1 配备 256 个专家，每次推理过程中仅有 8 个专家处于激活状态
50%待验证IQuest-Q1 支持高达 524,288 tokens（512K）的上下文窗口
50%待验证IQuest-Q1 采用 3 层滑动窗口注意力搭配 1 层完整注意力的混合比例，在 88 层中只有 25 层会随上下文增长扩展 KV 缓存
50%待验证IQuest-Q1 让约 28% 的层参与全局缓存增长，大幅降低显存压力
50%待验证IQuest-Q1 的 checkpoint 要求使用 sink attention，vLLM 的注意力后端提供了对应的 sinks path 来支持
50%待验证IQuest-Q1 利用 vLLM 中的 EAGLE 推测解码配合概率化草稿采样，由递归的 MTP（Multi-Token Prediction）头完成草稿生成
50%待验证IQuest-Q1 的 day-0 支持源于针对 vLLM 已有的三大能力——混合 KV 缓存、sink attention 路径、EAGLE 推测解码——来设计模型架构
50%