待验证50% 置信事实精确时间
通过去重Q/K/V权重节省488 MiB显存，将文本嵌入表保留在CPU节省594 MiB，使得Gemma 4 E4B与Qwen3-TTS 1.7B两个模型能同时加载，显卡显示8,188 MiB中占用7,448 MiB。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至：2027/1/14
来源
涉及实体
相关事实
待验证部分标注为q4的ONNX导出因嵌入表保留32位精度而比q4f16版本更大；例如SmolLM2-360M的q4为390MB，q4f16为275MB，两者输出一致。68% 相似待验证在单台 512GB 内存的 Mac Studio 上，128B 的 Mistral Medium 3.5（FP8）和 27B 的 Qwen 3.8（BF16）在 65536 tokens 上下文下分别占用约 158GB 和 68GB 内存。68% 相似待验证用户在8台GB10上以FP8运行397B，速度比INT4快20%，并将MiMo 2.5 Pro和Kimi 2.6的首个方案发布到NVIDIA论坛67% 相似已验证内存需求为Q2_0至少37.6GB、IQ2_XS至少39.2GB、IQ3_XXS至少47GB，视觉编码器额外占用0.91GB67% 相似待验证Qwen 9B 模型使用 MLX 格式加载时内存峰值约 5.1GB66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1043814API
curl https://kongchang.com/api/v1/knowledge/claims/1043814MCP
get_claim(id=1043814)