概念Marlin kernel / weight-only Marlin
weight-only Marlin kernel
一种 GPU 内核,仅对权重做低精度存储,计算时反量化回 16 位,使没有原生 4 位算力的 GPU 也能享受权重体积缩小带来的显存和带宽收益。
时间轴 (近 90 天)
10月18日
在 RTX 4070 Ti SUPER 上,NVFP4 通过 weight-only Marlin kernel 运行,权重保持低精度存储但实际计算仍在 16 位下完成
待验证50%
一种 GPU 内核,仅对权重做低精度存储,计算时反量化回 16 位,使没有原生 4 位算力的 GPU 也能享受权重体积缩小带来的显存和带宽收益。
在 RTX 4070 Ti SUPER 上,NVFP4 通过 weight-only Marlin kernel 运行,权重保持低精度存储但实际计算仍在 16 位下完成