待验证50% 置信事实精确时间

Tiny-MoE模型总参数量约200M，但每个token激活的参数仅约90M

1

来源数

50%

置信度

长期有效

时效性

2026/7/13

首次发现

来源

15岁少年从零训练200M MoE语言模型：完整架构与实战拆解

redditr/learnmachinelearning2026/7/12

相关事实

待验证对于 198B 总参数的稀疏 MoE 模型，实际激活参数量可能仅为 20-40B 量级83% 相似待验证分析推测该模型是2到4万亿参数规模的MoE模型，每个Token仅激活约1500亿参数74% 相似待验证轻量小模型通常指参数量在1亿以下的BERT系列模型，如DistilBERT、TinyBERT71% 相似待验证1000亿参数的模型处理单次推理请求需约80GB显存，百亿参数级别模型仅需约20GB70% 相似待验证目前Cursor调用的模型上下文长度仅为20万token69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/501380

API

curl https://kongchang.com/api/v1/knowledge/claims/501380

MCP

get_claim(id=501380)