待验证50% 置信基准精确时间
剪枝后的3.81B模型在Q4_K_M量化后大小为2.75 GB,在Mac上推理速度达到79 tokens/s,内存占用约3.8 GB。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/4
首次发现
有效期至:2027/2/2
来源
涉及实体
相关事实
待验证在配备16GB统一内存的M2 Mac mini上使用4-bit量化的Qwen2.5 7B模型测试,吞吐量从未批处理的16.8 tokens/s跌到批处理后的8.7 tokens/s80% 相似已验证4-bit量化(如Q4_K_M)通常可将3B模型内存占用从约6GB压缩至约2GB,精度损失低于2-3%77% 相似已验证Q4_K_M 采用混合精度,部分关键权重以 6bit 存储,其余以 4bit 存储,整体平均约 4.5bit76% 相似待验证作者在同一台 Mac 上用 1024×1024 分辨率跑 Qwen-Image-2.1 实测时,进程 footprint 从未超过 18.5 GB,但去噪阶段 swap 增长 3.5 GB,VAE 解码阶段增长 9.6 GB,最终内存守卫在写出图像前主动终止了运行。76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1136033API
curl https://kongchang.com/api/v1/knowledge/claims/1136033MCP
get_claim(id=1136033)