待验证50% 置信事实精确时间
部分标注为q4的ONNX导出因嵌入表保留32位精度而比q4f16版本更大；例如SmolLM2-360M的q4为390MB，q4f16为275MB，两者输出一致。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证以Q4_0格式为例，每32个FP32权重被打包为一个量化块，包含一个缩放因子和32个4bit整数，平均每参数约占4.5bit，内存占用缩减至原来的约1/878% 相似待验证使用IQ4_XS配合-fa 1 -ctk q8_0 -ctv q8_0对KV缓存进行q8_0量化后，可加载完整32k上下文，常驻内存约16.6GB77% 相似待验证Llama 3 70B量化版（Q4精度）仍需约35GB内存76% 相似已验证Qwen2.5:7B模型Q4量化后文件大小约为4GB76% 相似待验证Qwen3-27B的16个全注意力层每层拥有4个KV头、256的头维度，在16位精度下每个Token占用64KB74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013586API
curl https://kongchang.com/api/v1/knowledge/claims/1013586MCP
get_claim(id=1013586)