产品
Nunchaku
MIT开发的高效神经网络量化推理框架，专为扩散模型设计，支持FP4等低精度量化格式，可显著降低模型显存占用并提升推理速度，适用于消费级GPU本地部署。
时间轴 (近 90 天)
9月11日
基于Nunchaku的FP4模型（svdq-fp4_r32）体积为6.6GB，可完整装入8GB显存无需CPU卸载，每步耗时降至3.4-3.8秒
待验证50%
9月11日
FP4量化和Nunchaku等工具的成熟降低了本地AI生成的硬件门槛，使8GB显存也可运行
待验证50%
MIT开发的高效神经网络量化推理框架，专为扩散模型设计，支持FP4等低精度量化格式，可显著降低模型显存占用并提升推理速度，适用于消费级GPU本地部署。
基于Nunchaku的FP4模型（svdq-fp4_r32）体积为6.6GB，可完整装入8GB显存无需CPU卸载，每步耗时降至3.4-3.8秒
FP4量化和Nunchaku等工具的成熟降低了本地AI生成的硬件门槛，使8GB显存也可运行