待验证50% 置信事实精确时间
ModelFit 对于没有 config.json 的仓库，使用“约 20% + 1.5GB”的固定开销规则，并在页面上标记，因此这些模型的数字仍是估算。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至：2027/1/15
来源
涉及实体
相关事实
待验证ModelFit 在 config.json 可用时使用 GQA 公式精确计算 KV 缓存：2 × layers × kv_heads × head_dim × ctx × 2 bytes；否则采用“+20% 且最低 1.5GB”的启发式规则，并在页面明确标注。69% 相似待验证Meta的LLaMA 2 70B模型即便使用4-bit量化仍需约35GB显存才能完整加载64% 相似待验证FreeToken实测8GB显存笔记本可运行约35B参数模型64% 相似待验证1250 亿参数模型能跑在 12G 显存上，核心依赖模型量化与混合专家（MoE）架构，通过只激活部分专家参数、将权重量化至 4bit 或更低并按需从内存或 SSD 动态加载未激活参数来实现。63% 相似已验证1750亿参数模型仅模型权重（BF16精度）就需350GB存储，Adam优化器需维护一阶矩和二阶矩两份状态，合计超过1TB62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1054748API
curl https://kongchang.com/api/v1/knowledge/claims/1054748MCP
get_claim(id=1054748)