待验证60% 置信基准精确时间
本地推理受限于用户硬件,一个7B参数量化模型(如Llama 3 8B的Q4版本)文件约4-5GB,在Apple M系列芯片Mac上可达每秒20-40个token,在仅有集成显卡和8GB内存的笔记本上可能降至每秒3-5个token
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/9/1
首次发现
有效期至:2026/11/30
来源
涉及实体
相关事实
已验证Apple M系列芯片的内存带宽可达200-800GB/s(取决于具体型号)79% 相似待验证Ollama本地部署实测吞吐量:MacBook M2 16GB约15 tokens/秒,RTX 3060 12GB约45,RTX 4090 24GB约70,8GB笔记本约578% 相似待验证开发者通过10 Gb/s的USB-C数据线将iPhone 17 Pro Max接入24GB内存的M4 Pro MacBook,让手机充当第二块GPU为本地运行的Qwen 3.8 27B(IQ4_XS量化)模型分担计算78% 相似待验证用户可在消费级显卡(如24GB显存的RTX 4090)或统一内存的Apple Silicon设备上运行参数量7B至70B的本地模型。78% 相似已验证Llama 3.3 70B经过4-bit量化后模型大小约为40GB,可在配备64GB内存的Mac Studio或单张48GB显存的专业GPU上运行77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/840570API
curl https://kongchang.com/api/v1/knowledge/claims/840570MCP
get_claim(id=840570)