待验证50% 置信事实精确时间

量化通过将32位或16位浮点数参数转换为8位整数（INT8）或4位整数（INT4）来压缩模型体积

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

DeepSeek v4.1 Flash在M1 Mac Mini上：23秒/token的现实

涉及实体

Quantizationconcept

相关事实

待验证量化的核心原理是将模型参数从高精度浮点数（如FP32的32位浮点）转换为低精度表示（如INT8的8位整数或INT4的4位整数）80% 相似待验证推理端优化技术包括量化、知识蒸馏和KV Cache，量化可将参数从32位或16位浮点压缩为8位甚至4位整数79% 相似待验证INT4量化将原本由65536个不同值（FP16）表示的权重压缩到仅16个离散级别74% 相似已验证FP32每个参数占4字节，FP16/BF16占2字节，INT8量化占1字节，INT4量化占0.5字节71% 相似已验证Q4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/916415

API

curl https://kongchang.com/api/v1/knowledge/claims/916415

MCP

get_claim(id=916415)