待验证50% 置信事实精确时间
Strata 通过将显存、系统内存、NVMe 固态硬盘三级存储组织成流水线,使 12GB 到 16GB 显存的家用显卡能运行 125B 参数的 MoE 模型。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/4
首次发现
有效期至:2027/2/2
来源
12GB显卡跑125B MoE?Strata三级协同引擎解析
bilibiliNicksxs2026/11/3
涉及实体
相关事实
待验证用12GB显存的显卡和约70GB的模型下载量,可以本地运行1250亿参数的Strata大模型。79% 相似待验证Strata作者明确给出三条硬性硬件要求:显卡显存12GB以上、系统内存32GB起步、硬盘空间预留80GB以上(首次下载约70GB)。76% 相似待验证Strata将整台电脑转化为三级内存层级:显存存放每个Token触及的内容、系统内存固定存放全部约2.4万组专家、固态硬盘存放29GB的N-gram查找表73% 相似待验证一个16GB显卡在8K上下文、多路并发下,KV缓存本身就可能吃掉数GB显存。70% 相似待验证Strata引擎通过将模型主体常驻系统内存、仅将当前推理需要的层动态加载到显存的方式,使12GB显存的电脑能够运行1250亿参数模型。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1134843API
curl https://kongchang.com/api/v1/knowledge/claims/1134843MCP
get_claim(id=1134843)