待验证50% 置信基准精确时间
基线BF16模型在单并发下约37.5 tokens/s，32并发聚合吞吐714 tokens/s，首token延迟61ms；切换到FP8权重后单并发提升到53.4 tokens/s，64并发峰值吞吐从约800提升到1140 tokens/s，约1.42倍。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至：2027/1/17
来源
涉及实体
相关事实
待验证在高功耗运行中，35B的MoE模型达到78到107 tokens/s，而稠密的27B模型只有22 tokens/s80% 相似待验证在韩国NPU服务器（8张卡，共32颗芯片）上，VKORE使Gemma 4 26B模型的单用户响应从14.1 tokens/s提升到53.9 tokens/s，约3.8倍。77% 相似待验证在 T4 上，--fit + 10% 缓存达到 23.6 tokens/s，命中率 75.6%；仅 --cpu-moe 为 9.6 tokens/s；--cpu-moe + 50 MiB 缓存仅 3.8 tokens/s。75% 相似待验证大多数模型的单次输出上限在4000到8000 Token之间，部分高端模型支持到32000 Token75% 相似待验证在1200亿参数的GPT-OSS 120B上token生成从90提升到130 tokens/s，PP从约1300提升到约3200 tokens/s74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1071380API
curl https://kongchang.com/api/v1/knowledge/claims/1071380MCP
get_claim(id=1071380)