产品ModelOpt / NVIDIA ModelOpt
ModelOpt
NVIDIA 开源的大模型压缩与量化工具库,支持训练后量化、量化感知蒸馏等模型优化流程
核心事实
时间轴 (近 90 天)
10月21日
在safetensors导入过程中,MLX框架会为Flint组装ModelOpt专家库(expert banks)。
待验证50%
10月21日
框架选择先组装专家库再执行NVFP4转换,以避免在数据不完整时直接实例化目标格式导致精度损失或转换失败。
待验证50%
10月21日
该版本在 safetensors 导入阶段组装 ModelOpt 专家库(expert banks),而非等到模型实例化之后处理。
待验证50%
10月21日
ModelOpt 是 NVIDIA 推出的模型优化工具库,用于量化、剪枝和蒸馏等后训练优化。
待验证50%
9月23日
NVFP4是一种4位浮点量化格式,用于在保持模型精度的同时降低显存占用和提升推理吞吐
已验证75%