待验证50% 置信权衡取舍精确时间

若MoE模型每次推理仅激活约1/8的参数，实际计算开销可能仅相当于百亿参数级别的稠密模型

1

来源数

50%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

Mira Murati新公司发布975B开源权重大模型，剑指顶级AI竞争格局

相关事实

待验证旗舰模型的单次推理成本可能是轻量模型的数十乃至上百倍，源于参数量、上下文窗口长度、推理步骤复杂度等因素80% 相似待验证MoE架构中，一个标称800亿参数的模型每次推理时可能只激活约200亿参数，VRAM占用大幅降低77% 相似待验证在反向模式下，当模型参数数量高达数百万时，计算梯度的成本仅与一次前向计算相当77% 相似待验证分析推测该模型是2到4万亿参数规模的MoE模型，每个Token仅激活约1500亿参数75% 相似待验证对万亿参数模型而言，处理长上下文时KV Cache的显存开销甚至可能超过模型权重本身75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/570146

API

curl https://kongchang.com/api/v1/knowledge/claims/570146

MCP

get_claim(id=570146)