#量化推理
共 3 篇相关文章
·4 分钟
vLLM v0.33.0rc1 修复 DGX Spark 上的 NVFP4 解码测试选择器
vLLM v0.33.0rc1 通过 PR #64107 修复 DGX Spark 平台上过期的 NVFP4 解码测试选择器。本文解析这一 CI 改动背后的低精度量化测试矩阵膨胀、发布分支回迁策略与新硬件适配的隐性风险。
阅读全文 →
·5 分钟
FP8预填充+INT4解码：Hopper上Llama推理新优化
FuTransformer为Hopper GPU上的Llama推理设计分阶段量化：FP8预填充比PyTorch快1.48倍达1.29 PFLOP/s，INT4解码在batch 1-32下比PyTorch BF16/INT4快1.3-2.4倍，Llama-3.1-8B单步解码仅2.8ms。
阅读全文 →
·8 分钟
Triton内核追平bitsandbytes：为何双双输给数学
开发者用Triton手写W4A16融合GEMV内核，在RTX 3060上追平bitsandbytes NF4速度，但两者均输给bf16基线。本文解析roofline分析、内核优化陷阱与量化解码的真实性能瓶颈。
阅读全文 →