概念
NVFP4 MoE 权重
将混合专家(MoE)模型的专家权重以 NVFP4 低精度格式加载和存储的技术,用于减少显存占用并适配低精度推理。
时间轴 (近 90 天)
10月29日
vLLM 为 M3.1 Flash 集成了原生 NVFP4 KV 缓存、NVFP4 MoE 权重和 DSpark 投机解码三项服务栈配置。
待验证50%
将混合专家(MoE)模型的专家权重以 NVFP4 低精度格式加载和存储的技术,用于减少显存占用并适配低精度推理。
vLLM 为 M3.1 Flash 集成了原生 NVFP4 KV 缓存、NVFP4 MoE 权重和 DSpark 投机解码三项服务栈配置。