待验证50% 置信基准精确时间
在 i7-100 上跑 Llama 3.1 8B 模型时，SGLang 大概 16200 tokens/s，vLLM 大概是 12500 tokens/s，差了约 30%。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/28
首次发现
有效期至：2026/11/11
来源
本地大模型部署三条路线：个人、企业、专用引擎怎么选
bilibili九物AI生产力2026/10/26
涉及实体
相关事实
待验证在高功耗运行中，35B的MoE模型达到78到107 tokens/s，而稠密的27B模型只有22 tokens/s76% 相似待验证基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。74% 相似待验证在1200亿参数的GPT-OSS 120B上token生成从90提升到130 tokens/s，PP从约1300提升到约3200 tokens/s72% 相似待验证在80亿参数模型的文本生成测试中，M5 Ultra每秒188 tokens，M3 Ultra每秒129 tokens，仅为1.45倍71% 相似待验证运行Qwen3-Next-Flash（Autoround W4A16量化）时，预填充速度约1.3k tokens/s，生成速度达70 tokens/s（代码）/60 tokens/s（散文），支持128k+长上下文71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1106443API
curl https://kongchang.com/api/v1/knowledge/claims/1106443MCP
get_claim(id=1106443)