稠密模型
推理时每个token都激活全部参数的Transformer架构，与MoE相对，显存占用和算力消耗固定且偏高
核心事实
时间轴 (近 90 天)
在稠密模型中，验证窗口的计算量与token数近似线性，因为所有token共享同一套权重。
27B 属于中等偏大的稠密模型规模，介于 7B—14B 的轻量级与 70B 以上的大型模型之间。
稠密模型的优势在于推理路径确定、显存占用与参数量基本线性对应、部署和量化相对简单，缺点是同等算力下参数规模难以堆到MoE的水平。
KV-Surgeon的实验覆盖参数规模从40亿到300亿的稠密模型和混合专家模型。
传统稠密模型每次推理都要用到全部参数，因此完整权重必须驻留内存或显存，否则每一步计算都会触发磁盘读取。
稠密架构的优势在于行为更可预测、微调更直接、领域适配更易调教出稳定表现，代价是推理计算量相对固定无法通过稀疏激活节省算力
传统稠密模型在处理每一个token时会激活全部参数
稠密模型处理每个 token 时全部参数都参与运算，计算量与参数规模严格挂钩
稠密模型相比MoE架构在训练过程中梯度流动更均匀，不容易出现专家坍塌问题，且推理行为更具确定性
稠密模型在本地部署场景中推理逻辑更简单、硬件兼容性更好，而MoE模型虽然推理时激活参数少但总权重仍需加载到内存中，对硬件要求反而更高
全部知识事实 (11)
前沿模型常采用混合专家架构（MoE）在推理时只激活部分参数，以平衡速度与质量
75%已验证稠密模型在本地部署场景中推理逻辑更简单、硬件兼容性更好，而MoE模型虽然推理时激活参数少但总权重仍需加载到内存中，对硬件要求反而更高
65%待验证在稠密模型中，验证窗口的计算量与token数近似线性，因为所有token共享同一套权重。
50%待验证27B 属于中等偏大的稠密模型规模，介于 7B—14B 的轻量级与 70B 以上的大型模型之间。
50%待验证稠密模型的优势在于推理路径确定、显存占用与参数量基本线性对应、部署和量化相对简单，缺点是同等算力下参数规模难以堆到MoE的水平。
50%待验证KV-Surgeon的实验覆盖参数规模从40亿到300亿的稠密模型和混合专家模型。
50%待验证传统稠密模型每次推理都要用到全部参数，因此完整权重必须驻留内存或显存，否则每一步计算都会触发磁盘读取。
50%待验证稠密架构的优势在于行为更可预测、微调更直接、领域适配更易调教出稳定表现，代价是推理计算量相对固定无法通过稀疏激活节省算力
50%待验证传统稠密模型在处理每一个token时会激活全部参数
50%待验证稠密模型处理每个 token 时全部参数都参与运算，计算量与参数规模严格挂钩
50%待验证稠密模型相比MoE架构在训练过程中梯度流动更均匀，不容易出现专家坍塌问题，且推理行为更具确定性
50%