Unverified90% confidenceFactTime unknown
部署MOE模型时必须按总参数量而非激活参数量来估算显存需求,因为所有参数都需要在高速存储中随时可访问
1
Sources
90%
Confidence
Long-term
Relevance
5/31/2026
First Seen
Sources
大模型命名规则解析:参数量、量化格式与显存需求速查
bilibili尚书省说书人
Related Entities
Related Claims
Unverified在MoE模型中总参数量主要决定内存占用,每token激活参数量主要决定速度和成本73% similarUnverifiedMoE架构的显存占用与推理延迟按激活参数量计算,而非总参数量73% similarUnverifiedMoE模型所有专家参数都需驻留内存(即便不被激活),这也是三元量化对MoE格外重要的原因70% similarUnverifiedMoE模型所有专家参数必须同时驻留显存,空载开销是MoE架构工程部署的主要成本来源69% similarUnverified超大参数规模模型通常采用MoE(混合专家)架构,每次推理只激活一部分参数而非全量计算69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/4428API
curl https://kongchang.com/api/v1/knowledge/claims/4428MCP
get_claim(id=4428)