待验证60% 置信事实精确时间
一个70B参数模型在Q4量化后的困惑度往往仍低于13B模型在Q8甚至FP16下的困惑度
2
来源数
60%
置信度
长期有效
时效性
2026/8/14
首次发现
来源
相关事实
待验证Q4_K_M是最主流的量化平衡选择，困惑度损失通常低于1%；Q2_K可将70B模型压缩至约26GB但质量下降明显71% 相似待验证领域微调后的7B模型在任务准确率上往往超越未经微调的70B通用模型，同时推理成本降低一个数量级66% 相似待验证对于参数量大于30B的模型，4-bit量化造成的性能损失通常在基准测试中下降1-3%，但对小模型影响更显著64% 相似待验证Q4_K_M 量化在多数推理任务上与全精度模型的差距极小，是社区最广泛推荐的默认选择63% 相似待验证斯坦福大学2023年研究表明，GPT-4V等多模态模型解析嵌套条件逻辑流程图时，准确率比等效文字描述低约15-25个百分点63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/745192API
curl https://kongchang.com/api/v1/knowledge/claims/745192MCP
get_claim(id=745192)