待验证50% 置信基准精确时间

GGUF格式的Q4_K_M是最主流的平衡选择，困惑度损失通常低于1%；Q8_0几乎无精度损失但文件体积是Q4的两倍

1

来源数

50%

置信度

长期有效

时效性

2026/7/11

首次发现

来源

Ollama获6500万美元B轮：85%财富500强已部署本地大模型

redditr/ollama2026/7/10

相关事实

已验证GGUF量化格式（如Q4_K_M）通过将权重精度从32位浮点压缩到4位整数，通常只带来约1-5%的性能损失81% 相似待验证Q4_K_M 在困惑度上比纯 Q4 低约 0.1–0.381% 相似待验证Q4_K_M往往是本地部署时性价比最高的首选方案，实测困惑度损失通常不超过1%77% 相似待验证Q4_K_XL方案中MoE层使用MXFP4，其余层压缩到Q8_0，在top-1%预测一致性上达到96% same74% 相似待验证Q4_K_M采用分组量化策略，将权重张量划分为64或256维子块并独立计算缩放因子与零点，能将困惑度损失控制在1–3%以内72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/488579

API

curl https://kongchang.com/api/v1/knowledge/claims/488579

MCP

get_claim(id=488579)