待验证50% 置信基准精确时间
在配备16GB统一内存的M2 Mac mini上使用4-bit量化的Qwen2.5 7B模型测试，吞吐量从未批处理的16.8 tokens/s跌到批处理后的8.7 tokens/s
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型76% 相似待验证llama.cpp的GGUF格式4-bit量化版本使Llama 3.1 70B模型可在配备64GB统一内存的Apple M2 Ultra上运行，推理速度约20-30 tokens/秒75% 相似待验证文中使用1250亿参数的Qwen模型，文件体积达105GB，该任务因模型过大只能在Mac Studio上运行，32GB的Mac mini无法容纳75% 相似已验证一台配备 16GB 内存的普通 Mac 借助 GGUF 量化格式可流畅运行 7B 至 13B 参数的模型73% 相似待验证M3 Ultra运行四位DeepSeek R1时，1000 token上下文约每秒生成19个token占用392GB，16000 token时降到约每秒15个占用410GB72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1000262API
curl https://kongchang.com/api/v1/knowledge/claims/1000262MCP
get_claim(id=1000262)