待验证50% 置信基准精确时间
Ollama本地部署实测吞吐量：MacBook M2 16GB约15 tokens/秒，RTX 3060 12GB约45，RTX 4090 24GB约70，8GB笔记本约5
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
待验证本地推理受限于用户硬件，一个7B参数量化模型（如Llama 3 8B的Q4版本）文件约4-5GB，在Apple M系列芯片Mac上可达每秒20-40个token，在仅有集成显卡和8GB内存的笔记本上可能降至每秒3-5个token78% 相似已验证Llama 3.3 70B经过4-bit量化后模型大小约为40GB，可在配备64GB内存的Mac Studio或单张48GB显存的专业GPU上运行72% 相似待验证社区横向对比数据：M2 Ultra约20 token/秒，M3 Ultra 512GB为39.8 token/秒，单张B200为119.7 token/秒，8张RTX Pro 6000约204 token/秒，改装48GB显存RTX 4090定制后端367 token/秒，双H200约375 token/秒70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1003429API
curl https://kongchang.com/api/v1/knowledge/claims/1003429MCP
get_claim(id=1003429)