首 Token 时间

从发出请求到模型返回第一个输出token所经历的延迟，是衡量交互式应用响应速度的关键指标。自回归生成中模型需先对全部输入上下文完成prefill前向计算，因此上下文越长，首token时间越长。