待验证50% 置信基准精确时间
在高功耗运行中，35B的MoE模型达到78到107 tokens/s，而稠密的27B模型只有22 tokens/s
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证用户使用4台ASUS GB10运行397B模型达到30 token/s，功耗仅400W，对比此前6kW下的50-60 token/s79% 相似待验证大多数模型的单次输出上限在4000到8000 Token之间，部分高端模型支持到32000 Token76% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存74% 相似待验证该配置下35B模型实测单人最高速度约80 Tokens/秒，并发可达500 Tokens/秒以上74% 相似待验证作者认为12-30 token/s是舒适区，超过30 token/s算好；48-64GB的M5 Max约能跑到20 token/s73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1015148API
curl https://kongchang.com/api/v1/knowledge/claims/1015148MCP
get_claim(id=1015148)