待验证50% 置信事实精确时间

更高的显存带宽意味着更低的首 token 延迟（TTFT）和更高的每秒生成 token 数（TPS）

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

Together AI 联手 IBM Cloud 与 NVIDIA 扩展企业级推理算力

涉及实体

TTFTconcept TPSconcept

相关事实

待验证生成吞吐（tok/s）反映解码阶段效率，受 KV Cache 大小和显存带宽影响，对输入长度的敏感程度远低于预填充67% 相似待验证token生成速度与输出内容的结构化程度和token分布特征相关，结构化输出吞吐更高65% 相似待验证本地推理的首 token 延迟通常在 100-500ms，而云端 API 在网络良好时需要 500-2000ms 的首 token 延迟64% 相似待验证主机卸载用带宽换显存空间，代价是数据传输延迟；激活重计算用算力换显存，二者可互补配合63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/982374

API

curl https://kongchang.com/api/v1/knowledge/claims/982374

MCP

get_claim(id=982374)