BF16
一种16位浮点数格式，相比FP32节省一半显存并提升计算速度，指数位较宽、尾数位较窄，在大模型训练与推理中广泛使用
核心事实
时间轴 (近 90 天)
NVIDIA 发布了 Nemotron-3.5-Super-VL-120B-A12B 模型家族，涵盖基础版本以及 NVFP4、BF16 多种量化格式，并引入了 LiLiCorr 推测解码方案。
BF16是谷歌推出的16位浮点格式，相比FP16拥有更宽的指数范围，不易出现数值溢出
该方案的KV缓存统一采用BF16精度，模型权重部分采用MXFP4量化
在服务器上跑高并发的 vLLM 应选择 AWQ、GPTQ、FP8 量化版或官方 BF16 原版
推理1T参数的MoE模型即便采用BF16精度减半存储，也需要数百GB显存，远超消费级GPU承载上限
IQ3_S的基准表现基本接近BF16原始精度
DeepEP 将 Token 数据从 BF16 压缩为 FP8 E4M3，体积减半，并为每个 Token 附带一个 scale 因子用于还原，属于 per-token 量化粒度
DeepGEMM-Ascend 库支持 BF16（16 位）、FP8（8 位）、FP4（4 位）数值格式
量化精度建议：生产环境优先使用 BF16，测试环境可用 INT4，底线不要低于 INT4，因为精度越低模型能力和输出质量损失越大
算力受限意味着硬件的计算单元已被打满，此时增加批量大小或优化数值精度（如用BF16代替FP32）才有意义
还有 12 条时间轴事件
全部知识事实 (20)
一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB
90%已验证BF16（Brain Floating Point 16）是Google提出的浮点数变体，保留了FP32的8位指数范围但将尾数缩减至7位
90%已验证BF16相比FP16拥有与FP32相同的8位指数位宽，因此动态范围更大，已成为当前主流大模型训练精度选择
70%已验证量化的核心原理是将模型参数从高精度浮点数（如FP32的32位浮点）转换为低精度表示（如INT8的8位整数或INT4的4位整数）
65%已验证BF16最初由Google Brain团队为TPU设计，保留与FP32相同的8位指数位，尾数从23位缩减到7位
65%已验证混合精度训练将权重保存为FP32，而前向和反向传播计算使用FP16或BF16，可将显存占用减少近一半
65%部分验证BF16是谷歌推出的16位浮点格式，相比FP16拥有更宽的指数范围，不易出现数值溢出
65%待验证该方案的KV缓存统一采用BF16精度，模型权重部分采用MXFP4量化
50%待验证在服务器上跑高并发的 vLLM 应选择 AWQ、GPTQ、FP8 量化版或官方 BF16 原版
50%待验证推理1T参数的MoE模型即便采用BF16精度减半存储，也需要数百GB显存，远超消费级GPU承载上限
50%待验证IQ3_S的基准表现基本接近BF16原始精度
50%待验证DeepEP 将 Token 数据从 BF16 压缩为 FP8 E4M3，体积减半，并为每个 Token 附带一个 scale 因子用于还原，属于 per-token 量化粒度
50%待验证DeepGEMM-Ascend 库支持 BF16（16 位）、FP8（8 位）、FP4（4 位）数值格式
50%待验证量化精度建议：生产环境优先使用 BF16，测试环境可用 INT4，底线不要低于 INT4，因为精度越低模型能力和输出质量损失越大
50%待验证算力受限意味着硬件的计算单元已被打满，此时增加批量大小或优化数值精度（如用BF16代替FP32）才有意义
50%待验证BF16 精度模型的基线准确率为 74%，加惩罚后提升至 84%，推理 token 减少 19.4%
50%待验证ARCv3能够将BF16权重更新的体积压缩近50%
50%待验证在BF16下权重更新每个参数占2字节，对于数百亿参数的大模型单次权重更新原始数据量可达数十GB
50%待验证若 BF16 的补充调优逻辑与通用路径共享状态或全局缓存，可能在混合精度场景或并发请求中产生难以复现的性能异常
50%待验证BF16 相比 FP16 指数位更宽、尾数位更窄，可能导致某些 GPU kernel 的最优配置路径与 FP16 或 FP32 场景不同
50%