待验证70% 置信基准精确时间

将 INT4 权重重新量化为 NF4 会使每个权重经历两次舍入，官方测得这会让 Qwen3-8B 的困惑度上升 1.6%

2

来源数

70%

置信度

长期有效

时效性

2026/10/1

首次发现

来源

Unsloth Desktop v0.1.901 发布：命令面板、4倍加速与低显存训练

涉及实体

INT4concept NF4concept Qwen3-8Bmodel

相关事实

待验证Q4是4位量化，IQ3是3位重要性感知量化，Qwen3 27B在IQ3下体积约11-12GB、Q4约15-16GB70% 相似待验证在259k吞吐量下Qwen3.5速度提升约19倍，其中混合注意力贡献约5倍、MoE稀疏化约2倍、多Token预测约1.5倍67% 相似待验证INT4量化将原本由65536个不同值（FP16）表示的权重压缩到仅16个离散级别67% 相似待验证Q4_K_M采用分组量化策略，将权重张量划分为64或256维子块并独立计算缩放因子与零点，能将困惑度损失控制在1–3%以内67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/964985

API

curl https://kongchang.com/api/v1/knowledge/claims/964985

MCP

get_claim(id=964985)