待验证60% 置信事实精确时间
官方估计24GB显卡约能跑100~140 tokens/秒
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
待验证若带宽达到2.4TB/s，100GB模型理论速度上限可达24 token/s，60GB模型40 token/s，35GB模型接近69 token/s78% 相似待验证128K 字符的输出上限约相当于 3-4 万个 token78% 相似待验证4-5 token/秒的速度对于8GB显卡的实际使用而言太慢，16GB显卡可提升到12-14 token/秒进入实际可用范围76% 相似待验证以70B的BF16模型为例，产生一个token需读入约140GB权重，打满H100的3.35TB/s显存带宽时每token延迟至少42毫秒，理论TPS上限约24 token/秒74% 相似待验证约1.6M超长上下文配合128并发时，吞吐可达约3700 tokens/s（聚合）74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978630API
curl https://kongchang.com/api/v1/knowledge/claims/978630MCP
get_claim(id=978630)