概念inference efficiency
推理效率
大模型推理阶段的效率指标，通常以单位时间内生成的 token 数（吞吐）与首 token 延迟衡量，与推理成本相互制约，可通过蒸馏、量化、投机解码等手段优化
时间轴 (近 90 天)
10月19日
大模型的“推理效率”通常指单位时间内可生成的 token 数（吞吐）与首 token 延迟。
待验证50%
10月15日
样本效率与推理效率是两个独立指标，CoPE 在训练阶段节省交互，在推理阶段保持单步动作，两者均无额外开销。
待验证50%
大模型推理阶段的效率指标，通常以单位时间内生成的 token 数（吞吐）与首 token 延迟衡量，与推理成本相互制约，可通过蒸馏、量化、投机解码等手段优化
大模型的“推理效率”通常指单位时间内可生成的 token 数（吞吐）与首 token 延迟。
样本效率与推理效率是两个独立指标，CoPE 在训练阶段节省交互，在推理阶段保持单步动作，两者均无额外开销。