概念
Marlin kernel
vLLM中面向低比特权重的高性能GEMM实现,支持权重保持低比特、激活保留bf16的仅权重量化路径,用于降低激活量化带来的分布漂移。
时间轴 (近 90 天)
11月7日
在Qwen3.8 27B的vLLM测试中,使用Marlin kernel保持量化权重但激活保留bf16,使NVIDIA NVFP4的KLD从0.0256降到0.0117,降幅超过一半。
待验证50%
11月7日
在同一测试中,使用Marlin kernel保持量化权重但激活保留bf16,使Qwen FP8的KLD从0.0039降到0.0028,降低约30%。
待验证50%