待验证50% 置信事实精确时间

OLLAMA中不加标签拉取模型，默认给的是Q4KM版本（18GB），标签为latest

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/16

首次发现

有效期至：2026/12/15

来源

本地大模型变笨了？揭开Q4量化陷阱与自测指南

涉及实体

相关事实

待验证Ollama 默认使用 Q4_K_M 等量化方案，将 31B 参数模型的显存需求从约 62GB（FP16）降低到约 20GB69% 相似待验证16G显存部署Qwen3 27B只能选到Q3_K_XL的GGUF量化版本，这是16G显存能容纳的精度上限66% 相似待验证显存小于16GB时建议考虑 Q2 或切换至更小参数模型，不建议使用 1-bit64% 相似已验证Qwen2.5:7B模型Q4量化后文件大小约为4GB63% 相似待验证32GB显存能直接跑FP16、FP8原版模型，无需使用GGUF量化版63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/925946

API

curl https://kongchang.com/api/v1/knowledge/claims/925946

MCP

get_claim(id=925946)