待验证50% 置信基准精确时间

一篇EMNLP研究发现4-bit模型在12.8万token时检索损失平均高达23%，70B LLaMA丢失三分之一分数而同规模QWEN几乎无损

1

来源数

50%

置信度

长期有效

时效性

2026/9/16

首次发现

来源

本地大模型变笨了？揭开Q4量化陷阱与自测指南

涉及实体

EMNLPconcept LLaMA 70Bmodel

相关事实

已验证4-bit量化在损失约1-3%准确率的前提下，将模型体积缩减至原来的1/873% 相似已验证对于参数量大于30B的模型，4-bit量化造成的性能损失通常在基准测试中下降1-3%，但对小模型影响更显著71% 相似已验证INT8量化约损失0.5%精度、显存减半，INT4量化显存压缩至原来的1/4、精度损失约1-3%70% 相似待验证OLLAMA_KV_CACHE_TYPE=q8_0大约只占f16默认值一半的内存，质量损失极小68% 相似待验证在第29到50个epoch期间，符号模式损失的方差仅为±0.40%，而基于幅值的变体高达±2.25%66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/925955

API

curl https://kongchang.com/api/v1/knowledge/claims/925955

MCP

get_claim(id=925955)