待验证50% 置信基准精确时间
在单台 512GB 内存的 Mac Studio 上，128B 的 Mistral Medium 3.5（FP8）和 27B 的 Qwen 3.8（BF16）在 65536 tokens 上下文下分别占用约 158GB 和 68GB 内存。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
已验证从存储角度推算：27B参数×2字节（FP16）约54GB，INT8约27GB，INT4约13.5GB，2-bit约6.75GB，1.5-bit逼近5GB；4GB以内意味着平均比特宽度需低于1.5-bit77% 相似已验证Llama 3.3 70B经过4-bit量化后模型大小约为40GB，可在配备64GB内存的Mac Studio或单张48GB显存的专业GPU上运行76% 相似已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB76% 相似待验证Ollama本地部署实测吞吐量：MacBook M2 16GB约15 tokens/秒，RTX 3060 12GB约45，RTX 4090 24GB约70，8GB笔记本约573% 相似待验证M3原始权重存储下限：BF16约854GB，8-bit约428GB，4-bit约214GB73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038323API
curl https://kongchang.com/api/v1/knowledge/claims/1038323MCP
get_claim(id=1038323)