TPS
大模型推理性能核心指标之一，指模型每秒能够生成的token数量，决定长文本生成的总耗时和系统整体吞吐能力
核心事实
时间轴 (近 90 天)
流式LLM的耗时由两段性质完全不同的部分组成：排队+首token推理的冷启动段，以及后续逐token生成的稳态段，应分别设定SLO，不能混入一个平均响应时间。
更高的显存带宽意味着更低的首 token 延迟（TTFT）和更高的每秒生成 token 数（TPS）
帕克探测器的碳复合隔热罩（TPS）厚约11.4厘米，由碳泡沫夹在两层碳纤维板之间构成
官方宣传的7倍以上加速主要指向 TPS（每秒生成 token 数）即生成阶段吞吐提升，而非必然意味着 TTFT 同等幅度降低
判断此次修复对工作负载是否有效可关注 GPU 利用率稳定性、首 token 延迟（TTFT）和每秒生成 token 数（TPS）等指标
Fireworks 通过底层 GPU 调度优化和推理引擎定制，实现较低的首 token 延迟和更高的每秒 token 吞吐量
批次大小（Batch Size）越大，单token均摊算力效率越高，TPS通常也越高，但延迟会上升
TPS的解码（Decode）阶段是用户实际感知到的响应速度，硬件内存带宽往往是解码阶段的真正瓶颈而非纯粹浮点算力
当模型生成速度超过15~20 TPS时用户在交互中已感受不到明显等待，因为人类阅读英文速度约为每秒4~5个token
TPS（Tokens Per Second）是衡量大语言模型推理速度的核心指标，特指模型在生成阶段每秒输出的 token 数量
还有 1 条时间轴事件
全部知识事实 (12)
首字延迟（TTFT）指从用户发出请求到模型输出第一个 token 之间的时间间隔，主要受制于 prefill 阶段耗时
90%已验证TPS的测量通常分为两个阶段：首Token延迟（TTFT）和后续Token的生成速率（Throughput）
85%已验证TPS（Tokens Per Second）是衡量大语言模型推理速度的核心指标，特指模型在生成阶段每秒输出的 token 数量
75%待验证当模型生成速度超过15~20 TPS时用户在交互中已感受不到明显等待，因为人类阅读英文速度约为每秒4~5个token
60%待验证流式LLM的耗时由两段性质完全不同的部分组成：排队+首token推理的冷启动段，以及后续逐token生成的稳态段，应分别设定SLO，不能混入一个平均响应时间。
50%待验证更高的显存带宽意味着更低的首 token 延迟（TTFT）和更高的每秒生成 token 数（TPS）
50%待验证帕克探测器的碳复合隔热罩（TPS）厚约11.4厘米，由碳泡沫夹在两层碳纤维板之间构成
50%待验证官方宣传的7倍以上加速主要指向 TPS（每秒生成 token 数）即生成阶段吞吐提升，而非必然意味着 TTFT 同等幅度降低
50%待验证判断此次修复对工作负载是否有效可关注 GPU 利用率稳定性、首 token 延迟（TTFT）和每秒生成 token 数（TPS）等指标
50%待验证Fireworks 通过底层 GPU 调度优化和推理引擎定制，实现较低的首 token 延迟和更高的每秒 token 吞吐量
50%待验证批次大小（Batch Size）越大，单token均摊算力效率越高，TPS通常也越高，但延迟会上升
50%待验证TPS的解码（Decode）阶段是用户实际感知到的响应速度，硬件内存带宽往往是解码阶段的真正瓶颈而非纯粹浮点算力
50%