待验证50% 置信基准精确时间
在M2 Max上，使用Llama-3.1-8B-Instruct（Q4_K_M量化），Magnitude的吞吐量为38.7 tok/s，Ollama为18.2 tok/s。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至：2027/1/15
来源
涉及实体
相关事实
待验证Q4_K_M量化文件大小17.77GB，pp2048速度96.8 tok/s，tg128速度11.4 tok/s75% 相似待验证Ornith 1.5 推荐 Q4_K_M 量化时整包约需23G显存，建议按27G以上准备；Qwen 3.8 同档 Q4_K_M 只需16到19G73% 相似待验证Q3_K_M将每个权重压缩至约3bit，27B模型权重体积可降至约12～13GB72% 相似待验证LiquidAI 的 LFM2.5-24B-A2B 用稀疏 MoE 实现 24B 总参数中每 token 仅激活 2B，上下文从 32K 扩展到 131K，在 Apple M5 Max 上跑出 184 tok/s，在单张 NVIDIA B300 上聚合吞吐高达 21K tok/s。72% 相似待验证UD-Q4_K_XL量化版本体积155GB，Top-1精度为96%70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1056299API
curl https://kongchang.com/api/v1/knowledge/claims/1056299MCP
get_claim(id=1056299)