待验证60% 置信事实精确时间
LFM2.5-24B-A2B 采用 40 层架构：30 个双门控短卷积块 + 10 个 GQA 注意力层，每 MoE 块 64 个专家，top-4 路由，131,072 token 上下文，128K 词表。
2
来源数
60%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证Llama 3 8B有32层、8个KV头（GQA架构，查询头32个）、头维度128，8192上下文FP16单序列下KV缓存约1.07GB69% 相似待验证Qwen3.8-Flash-Next的MoE层使用512个专家和Top-10路由，原生上下文窗口达262K，可扩展至1兆Token68% 相似待验证LFM2.5 系列中，文本模型除 24B 外还包括 230M、350M、1.2B（含 Instruct、Thinking、JP 版本）、2.6B 和 8B-A1B MoE；24B 是唯一进入 30B 级 MoE 赛道的模型。68% 相似待验证Qwen3-27B的16个全注意力层每层拥有4个KV头、256的头维度，在16位精度下每个Token占用64KB67% 相似待验证LFM 2.6B 思考变体达到 12/16 实质，约 97 tokens/s67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1029962API
curl https://kongchang.com/api/v1/knowledge/claims/1029962MCP
get_claim(id=1029962)