待验证50% 置信事实精确时间

Unsloth的3bit量化并非标准bitsandbytes配置，通常指其自研的非对称量化方案，可将7B级模型权重压到约3GB。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/20

首次发现

有效期至：2027/1/18

来源

8GB显卡跑出48t/s：CachyOS+STRATA让本地大模型提速5倍

涉及实体

Unslothcompany bitsandbytesproduct

相关事实

待验证Unsloth 通过 4-bit/8-bit 量化感知训练与动态激活卸载技术，可将 7B 模型的微调显存需求压缩至约 4–6 GB74% 相似已验证一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行72% 相似已验证4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%71% 相似已验证采用INT4量化技术后,3B参数模型显存占用可降至约2GB70% 相似待验证边缘场景通常选择 1B 到 3B 参数的小模型，其中 3B 模型 4-bit 量化后约 1.5GB，1B 模型约 500MB。70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1078497

API

curl https://kongchang.com/api/v1/knowledge/claims/1078497

MCP

get_claim(id=1078497)