待验证50% 置信基准精确时间
Ansloth团队测量显示,量化模型与原始DeepSeek模型的下一个token一致率:2-bit为91.2%,3-bit为95.1%,4-bit为98.5%。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
涉及实体
相关事实
待验证在Aider Polyglot编码测试中,DeepSeek全精度得71.6%,Unsloth 4-bit动态版得69.7%,2-bit版得65.8%,而同为2-bit同文件大小的竞品量化方案只得56.6%72% 相似待验证经过精心量化的4-bit模型与FP16原始模型之间的性能差距通常在1-3个百分点以内69% 相似待验证GPTQ、AWQ、SqueezeLLM等量化方法在4-bit精度下仍能保持接近原始模型95%以上的性能68% 相似待验证在模型对比测试中qwen2.5:3b正确理解配速,幻觉地名0个,长度误差0.3%,峰值内存259MB,耗时106秒66% 相似待验证Ollama分发的DeepSeek R1各版本均经过GGUF格式量化处理(通常为Q4_K_M或Q8_0精度),将每个参数从16位浮点数压缩至4-8位,显存占用减少50%-75%,推理质量损失通常在5%以内66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1121819API
curl https://kongchang.com/api/v1/knowledge/claims/1121819MCP
get_claim(id=1121819)