待验证50% 置信事实精确时间
SmolLM2-360M-Instruct 仅有 3.6 亿参数，经过量化后体积可控制在数百 MB 级别。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
已验证FP16精度下，大模型每10亿参数约需2GB显存71% 相似已验证一个原始需要80GB显存的700亿参数模型经4-bit量化（Q4_K_M档）后仅需约40GB内存，推理质量在多数基准测试中损失通常在3%-8%以内70% 相似待验证该模型参数量为 1.91M，int8 量化后权重占 1.97 MB，占 Ryzen 5 3400G 的 4 MB L3 缓存的 49.8%。69% 相似待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型69% 相似待验证100万Token在FP16精度下仅KV Cache一项即可消耗数百GB显存，远超单张A100/H100的80GB容量上限68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1059656API
curl https://kongchang.com/api/v1/knowledge/claims/1059656MCP
get_claim(id=1059656)