待验证50% 置信解决方案精确时间
Apple Silicon上原生推荐使用MLX 4位仿射量化（组大小64），4位MLX构建约占15GB统一内存
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/11
首次发现
有效期至：2026/12/10
来源
涉及实体
相关事实
已验证30B级别的Dense模型被视为本地部署的甜蜜区间，可在M2 Ultra（192GB）、M4 Pro（48GB）等Apple Silicon设备或配合量化技术的RTX 4090（24GB VRAM）上运行77% 相似待验证本地推理受限于用户硬件，一个7B参数量化模型（如Llama 3 8B的Q4版本）文件约4-5GB，在Apple M系列芯片Mac上可达每秒20-40个token，在仅有集成显卡和8GB内存的笔记本上可能降至每秒3-5个token75% 相似待验证Llama 3.3 70B经过4-bit量化后模型大小约为40GB，可在配备64GB内存的Mac Studio或单张48GB显存的专业GPU上运行70% 相似待验证在16GB内存硬件条件下只能容纳5GB以内的模型，因此该开发者使用了体积约4.8GB的Qwen 2.5 7B 4bit量化模型，配8K上下文窗口70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/907276API
curl https://kongchang.com/api/v1/knowledge/claims/907276MCP
get_claim(id=907276)