待验证50% 置信事实精确时间
量化到 4bit 能减少每 token 需要搬运的权重字节数，从而提升解码速度。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证4bit量化是性能和精度的平衡点，3bit可进一步降低内存占用76% 相似待验证内存带宽决定生成速度，因为自回归解码是逐 token 搬运全部权重，带宽越高每秒生成的 token 越多。75% 相似待验证在相同机器和模型下，低功耗模式与高功耗模式的解码速度差1.4到3.8倍；例如Ollama跑Qwen 3.5 35B，低功耗51.9 tokens/s，高功耗107.1 tokens/s73% 相似待验证硬件加速解码可将 4K 解码的 CPU 占用从 60-80% 降低至 5% 以下，同时显著降低功耗71% 相似待验证INT4量化可将KV Cache进一步压缩到0.5字节，但可能需要配合校准数据保证精度71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1062226API
curl https://kongchang.com/api/v1/knowledge/claims/1062226MCP
get_claim(id=1062226)