tokens per second

大模型推理速度的常用计量单位，指模型每秒生成的语言token数量，用于衡量模型输出吞吐性能。