待验证50% 置信事实精确时间
目前主流的云端大模型推理速度通常在几十到一两百 tokens/秒之间
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/12
首次发现
有效期至：2026/12/11
来源
涉及实体
相关事实
待验证该配置下35B模型实测单人最高速度约80 Tokens/秒，并发可达500 Tokens/秒以上73% 相似待验证本地模型推理速度慢（约1-5 tokens/秒）而云端可达50+ tokens/秒，本地模型能力天花板较低但无API成本和隐私顾虑70% 相似待验证AirLLM 以推理速度为代价，每生成一个 token 耗时数秒乃至数十秒，远慢于高端 GPU 全量加载的每秒数十 token70% 相似待验证70B参数模型(140GB权重)在1TB/s带宽下理论最快生成速度约7 tokens/秒70% 相似待验证本地推理的首 token 延迟通常在 100-500ms，而云端 API 在网络良好时需要 500-2000ms 的首 token 延迟69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/913974API
curl https://kongchang.com/api/v1/knowledge/claims/913974MCP
get_claim(id=913974)