[控场AI]
概念Dense Model

稠密模型

推理时每个token都激活全部参数的Transformer架构,与MoE相对,显存占用和算力消耗固定且偏高

核心事实

时间轴 (近 90 天)

11月16日

产品线定位可能用MoE架构替代稠密模型,导致计划调整。

待验证50%
11月13日

Ripple 65B 采用稠密架构而非混合专家模型,理由为稠密模型训练和推理更简单,且报告在预训练和后期训练中达到约 40% 的 MFU,未使用自定义内核或量化。

待验证50%
11月8日

在千万亿参数规模下,稠密模型几乎不可行,MoE 被普遍视为让总参数膨胀而计算量可控的手段。

待验证50%
11月4日

稠密(dense)模型指每一层的前馈网络和注意力模块在推理时对每个 token 都完整激活,65B 参数意味着每次前向传播都要调动全部权重。

待验证50%
11月4日

稠密结构在微调时的稳定性通常更好,模型行为不容易因为专家路由的变化而漂移。

待验证50%
11月4日

稠密模型显存占用与计算量直接挂钩,部署成本高但行为一致;MoE 在相同总算力下能容纳更多知识,却引入路由不确定性,微调时容易出现专家负载失衡。

待验证50%
10月29日

在稠密模型中,验证窗口的计算量与token数近似线性,因为所有token共享同一套权重。

待验证50%
10月29日

27B 属于中等偏大的稠密模型规模,介于 7B—14B 的轻量级与 70B 以上的大型模型之间。

待验证50%
10月25日

稠密模型的优势在于推理路径确定、显存占用与参数量基本线性对应、部署和量化相对简单,缺点是同等算力下参数规模难以堆到MoE的水平。

已验证65%
10月20日

KV-Surgeon的实验覆盖参数规模从40亿到300亿的稠密模型和混合专家模型。

待验证50%

还有 7 条时间轴事件

全部知识事实 (18)

已验证

前沿模型常采用混合专家架构(MoE)在推理时只激活部分参数,以平衡速度与质量

75%
已验证

稠密模型的优势在于推理路径确定、显存占用与参数量基本线性对应、部署和量化相对简单,缺点是同等算力下参数规模难以堆到MoE的水平。

65%
已验证

高吞吐通过批处理实现,会提升单位时间处理token总量但增加首字节延迟;低延迟要求小批次或不批处理,降低硬件利用率并升高每token成本

65%
已验证

稠密模型在本地部署场景中推理逻辑更简单、硬件兼容性更好,而MoE模型虽然推理时激活参数少但总权重仍需加载到内存中,对硬件要求反而更高

65%
待验证

稠密架构的优势在于行为更可预测、微调更直接、领域适配更易调教出稳定表现,代价是推理计算量相对固定无法通过稀疏激活节省算力

70%
待验证

传统稠密模型在处理每一个token时会激活全部参数

60%
待验证

产品线定位可能用MoE架构替代稠密模型,导致计划调整。

50%
待验证

Ripple 65B 采用稠密架构而非混合专家模型,理由为稠密模型训练和推理更简单,且报告在预训练和后期训练中达到约 40% 的 MFU,未使用自定义内核或量化。

50%
待验证

在千万亿参数规模下,稠密模型几乎不可行,MoE 被普遍视为让总参数膨胀而计算量可控的手段。

50%
待验证

稠密(dense)模型指每一层的前馈网络和注意力模块在推理时对每个 token 都完整激活,65B 参数意味着每次前向传播都要调动全部权重。

50%
待验证

稠密结构在微调时的稳定性通常更好,模型行为不容易因为专家路由的变化而漂移。

50%
待验证

稠密模型显存占用与计算量直接挂钩,部署成本高但行为一致;MoE 在相同总算力下能容纳更多知识,却引入路由不确定性,微调时容易出现专家负载失衡。

50%
待验证

在稠密模型中,验证窗口的计算量与token数近似线性,因为所有token共享同一套权重。

50%
待验证

27B 属于中等偏大的稠密模型规模,介于 7B—14B 的轻量级与 70B 以上的大型模型之间。

50%
待验证

KV-Surgeon的实验覆盖参数规模从40亿到300亿的稠密模型和混合专家模型。

50%
待验证

传统稠密模型每次推理都要用到全部参数,因此完整权重必须驻留内存或显存,否则每一步计算都会触发磁盘读取。

50%
待验证

稠密模型处理每个 token 时全部参数都参与运算,计算量与参数规模严格挂钩

50%
待验证

稠密模型相比MoE架构在训练过程中梯度流动更均匀,不容易出现专家坍塌问题,且推理行为更具确定性

50%

来源文章