待验证50% 置信事实精确时间
Hy-Memory-30B-A3B 采用混元稀疏专家（MoE）结构，总参数约 300 亿，每次前向传播仅激活约 30 亿参数。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证MoE模型采用稀疏激活，Qwen 3.5 122B总参数122B但每次推理仅激活约10B，需将全部参数加载进内存，对内存容量极度敏感71% 相似待验证以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存70% 相似待验证MoE与量化技术结合可使16GB内存的笔记本运行数百亿参数的MoE模型成为可能69% 相似待验证在2.8万亿参数的KimiK3上，GB300-NVL72的每兆瓦吞吐量约为H200的80倍，同时将交互性推至约215 token/秒/用户。68% 相似待验证Hy-Memory-30B-A3B采用HYV3ForCausalLM架构，128个路由专家、每token激活8个，48层、隐藏维度2048，最大位置嵌入262,144，支持中英文。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070510API
curl https://kongchang.com/api/v1/knowledge/claims/1070510MCP
get_claim(id=1070510)