bitsandbytes
一个用于深度神经网络量化和加速的开源库，支持8位和4位量化（如NF4），常用于大模型低显存推理。
时间轴 (近 90 天)
在RTX 3060上，开发者用Triton手写的面向batch-1解码的融合W4A16 GEMV内核速度约为25.5 tok/s，追平了bitsandbytes NF4量化方案的约25.7 tok/s。
自研W4内核的困惑度（probe ppl）为15.76，优于bitsandbytes NF4的18.98。
在相同测试中，bf16基线以31.3 tok/s的速度超过了自研W4内核（25.5 tok/s）和bitsandbytes NF4（25.7 tok/s），达到理论roofline的29.8%。
Pascal架构对应CUDA计算能力6.x，而vLLM、bitsandbytes等现代推理框架已将最低支持版本提升至7.0，部分功能要求8.0以上
主流量化工具链包括llama.cpp（GGUF格式）和bitsandbytes
常见的量化工具包括GPTQ、AWQ和bitsandbytes
flash-attention、xformers、bitsandbytes等高性能加速库通常只提供Linux预编译wheel，在Windows上需要从源码编译
全部知识事实 (9)
Transformers框架原生支持bitsandbytes、GPTQ、AWQ等主流量化方案
90%待验证Transformers库集成了GPTQ、AWQ、bitsandbytes等量化技术和Flash Attention加速方案
90%待验证自研W4内核的困惑度（probe ppl）为15.76，优于bitsandbytes NF4的18.98。
50%待验证在RTX 3060上，开发者用Triton手写的面向batch-1解码的融合W4A16 GEMV内核速度约为25.5 tok/s，追平了bitsandbytes NF4量化方案的约25.7 tok/s。
50%待验证在相同测试中，bf16基线以31.3 tok/s的速度超过了自研W4内核（25.5 tok/s）和bitsandbytes NF4（25.7 tok/s），达到理论roofline的29.8%。
50%待验证Pascal架构对应CUDA计算能力6.x，而vLLM、bitsandbytes等现代推理框架已将最低支持版本提升至7.0，部分功能要求8.0以上
50%待验证主流量化工具链包括llama.cpp（GGUF格式）和bitsandbytes
50%待验证常见的量化工具包括GPTQ、AWQ和bitsandbytes
50%待验证flash-attention、xformers、bitsandbytes等高性能加速库通常只提供Linux预编译wheel，在Windows上需要从源码编译
50%