待验证50% 置信基准精确时间
在 T4 上，--fit + 10% 缓存达到 23.6 tokens/s，命中率 75.6%；仅 --cpu-moe 为 9.6 tokens/s；--cpu-moe + 50 MiB 缓存仅 3.8 tokens/s。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/18
首次发现
有效期至：2026/11/1
来源
涉及实体
相关事实
待验证作者认为12-30 token/s是舒适区，超过30 token/s算好；48-64GB的M5 Max约能跑到20 token/s76% 相似待验证经验上，20 token/s 以上接近阅读速度可流畅交互，低于 5 token/s 则明显卡顿。73% 相似待验证开发者Primitive报告：关闭推测时为91.2 tokens/s，开启3个推测token后达到142.6 tokens/s，同一配置下约提速56%73% 相似待验证在高功耗运行中，35B的MoE模型达到78到107 tokens/s，而稠密的27B模型只有22 tokens/s72% 相似待验证并发请求会放大缓存槽位需求，导致 LRU 淘汰更频繁，T4 上四请求并发总吞吐 37.0 tokens/s，低于单请求的 43.2 tokens/s，命中率从 95.7% 降至 92.3%。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060511API
curl https://kongchang.com/api/v1/knowledge/claims/1060511MCP
get_claim(id=1060511)