概念NormalFloat4
NF4
QLoRA论文引入的4-bit数据格式，专为正态分布的神经网络权重设计，理论上信息密度优于线性INT4，是量化大模型的常用数值表示方式
核心事实
时间轴 (近 90 天)
10月11日
QLoRA 在 LoRA 基础上引入 4-bit NormalFloat（NF4）量化、双重量化和分页优化器来压缩显存并维持训练稳定性
待验证50%
10月1日
Unsloth 的 Triton 内核逐层按需反量化，INT4 保持精确而不重新量化成 NF4，避免困惑度上升约 1.6%
待验证50%
10月1日
将 INT4 权重重新量化为 NF4 会使每个权重经历两次舍入，官方测得这会让 Qwen3-8B 的困惑度上升 1.6%
待验证70%
9月6日
NF4 是一种信息论最优的 4-bit 量化数据类型，基于预训练神经网络权重近似服从零均值正态分布的假设，将正态分布 CDF 等分为 16 个区间作为量化级别
待验证50%
全部知识事实 (5)
已验证
NF4（4-bit NormalFloat）是QLoRA论文（Dettmers et al., 2023）中提出的一种信息论最优的数据类型
75%待验证将 INT4 权重重新量化为 NF4 会使每个权重经历两次舍入，官方测得这会让 Qwen3-8B 的困惑度上升 1.6%
70%待验证QLoRA 在 LoRA 基础上引入 4-bit NormalFloat（NF4）量化、双重量化和分页优化器来压缩显存并维持训练稳定性
50%待验证Unsloth 的 Triton 内核逐层按需反量化，INT4 保持精确而不重新量化成 NF4，避免困惑度上升约 1.6%
50%待验证NF4 是一种信息论最优的 4-bit 量化数据类型，基于预训练神经网络权重近似服从零均值正态分布的假设，将正态分布 CDF 等分为 16 个区间作为量化级别
50%