待验证50% 置信基准精确时间

基于Nunchaku的FP4模型（svdq-fp4_r32）体积为6.6GB，可完整装入8GB显存无需CPU卸载，每步耗时降至3.4-3.8秒

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/11

首次发现

有效期至：2026/12/10

来源

8GB显卡跑本地AI：优化设置比硬件更重要

涉及实体

Nunchakutechnology svdq-fp4_r32model FP4technology

相关事实

部分验证对于7B参数模型的4-bit量化版本，通常需要至少8GB内存和现代多核CPU即可流畅运行，推理速度约为每秒10-30个token77% 相似部分验证标准的FP32模型每个参数占用4字节，而INT4量化将其压缩至0.5字节，理论上可实现8倍的内存节省76% 相似待验证量化可将700亿参数模型的存储体积从FP16的约140GB压缩至INT4的约35-40GB，能在单张RTX 4090配合CPU内存卸载的消费级硬件上运行76% 相似待验证一张1024×1024的未压缩RGBA纹理占据4MB存储空间75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/903737

API

curl https://kongchang.com/api/v1/knowledge/claims/903737

MCP

get_claim(id=903737)