待验证50% 置信事实精确时间

4-bit 量化意味着每个参数仅占 0.5 字节，相比 FP16 减少了 75% 的显存占用

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

RTX 4090 跑 125B 大模型：Qwen3 Next 实现 100 T/s 推理

涉及实体

量化concept FP16concept

相关事实

已验证4-bit量化使模型存储空间缩减为FP16的约1/479% 相似待验证在4-bit及以上精度下,量化对大多数应用场景的输出质量影响有限79% 相似已验证4bit 量化可将模型体积缩减约 75%78% 相似待验证KV缓存量化选择Q4_0，能将缓存体积压缩到FP16的约四分之一，且对输出质量影响远小于模型权重量化75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/974637

API

curl https://kongchang.com/api/v1/knowledge/claims/974637

MCP

get_claim(id=974637)