[控场AI]
概念

NVFP4 MoE 权重

将混合专家(MoE)模型的专家权重以 NVFP4 低精度格式加载和存储的技术,用于减少显存占用并适配低精度推理。

时间轴 (近 90 天)

10月29日

vLLM 为 M3.1 Flash 集成了原生 NVFP4 KV 缓存、NVFP4 MoE 权重和 DSpark 投机解码三项服务栈配置。

待验证50%

全部知识事实 (1)

来源文章