[控场AI]
概念

Marlin kernel

vLLM中面向低比特权重的高性能GEMM实现,支持权重保持低比特、激活保留bf16的仅权重量化路径,用于降低激活量化带来的分布漂移。

时间轴 (近 90 天)

11月7日

在Qwen3.8 27B的vLLM测试中,使用Marlin kernel保持量化权重但激活保留bf16,使NVIDIA NVFP4的KLD从0.0256降到0.0117,降幅超过一半。

待验证50%
11月7日

在同一测试中,使用Marlin kernel保持量化权重但激活保留bf16,使Qwen FP8的KLD从0.0039降到0.0028,降低约30%。

待验证50%

全部知识事实 (2)

来源文章