待验证50% 置信事实精确时间
对于均匀量化，理论 SQNR ≈ 6.02 × 比特数 + 1.76 dB，因此 INT8 理论上限约 49.9 dB，INT4 约 25.8 dB。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证在4-bit量化下，纯参数理论最小占用为：7B约3.26GiB，13B约6.05GiB，32B约14.90GiB，70B约32.60GiB68% 相似待验证对于Qwen2.5-1.5B模型，batch-1解码的int4理论roofline上限为411.8 tok/s，而实际自研内核仅达到25.5 tok/s，存在约16倍的差距。67% 相似待验证对于7B至13B参数级别的模型，4-bit量化后的输出质量与全精度版本差异很小66% 相似已验证量化的核心原理是将模型参数从高精度浮点数（如FP32的32位浮点）转换为低精度表示（如INT8的8位整数或INT4的4位整数）66% 相似待验证GPTQ（2022年）和AWQ（2023年）能将70B参数的LLM量化到INT4精度，困惑度损失不到1%64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1072677API
curl https://kongchang.com/api/v1/knowledge/claims/1072677MCP
get_claim(id=1072677)