待验证50% 置信事实精确时间
65B 稠密模型在推理时的显存占用和吞吐成本相比同参数量的 MoE 模型更高,在同等硬件上能服务的并发数更低。
1
来源数
50%
置信度
长期有效
时效性
2026/11/5
首次发现
来源
Ripple-65B:美国开源稠密编码模型对决Terminal-Bench 2.1
rss2026/11/5
涉及实体
相关事实
待验证对于816B这类超大MoE模型,即使只激活42B参数,原始权重仍需完整驻留内存,量化几乎是消费级硬件上运行的前提。73% 相似待验证推理1T参数的MoE模型即便采用BF16精度减半存储,也需要数百GB显存,远超消费级GPU承载上限71% 相似待验证MoE模型虽然计算量小,但整个模型仍需加载到内存中,因此对内存总量要求不低,但对内存带宽压力因每次只读取激活参数而大幅降低71% 相似待验证将 763B 级 MoE 模型压到 72 GB 的 transformer 权重,意味着消费级或单机多卡环境有了运行超大模型的可能,但 110.6 GB 的 Engram 文件仍是不可忽视的额外开销。71% 相似待验证8B模型在实际运行时,显存占用往往达到17GB甚至更高,原因是除了参数外还有推理框架占用和KV缓存等开销。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1139172API
curl https://kongchang.com/api/v1/knowledge/claims/1139172MCP
get_claim(id=1139172)