待验证50% 置信事实精确时间

衡量 LLM 推理速度的 tokens/s 有两种口径：单请求逐 token 生成速率和系统级聚合吞吐，两者数值可能相差一个数量级。

1

来源数

50%

置信度

长期有效

时效性

2026/10/22

首次发现

来源

Mercury 3：40倍扩展不减速的扩散LLM

producthuntProductHunt Daily2026/10/22

涉及实体

tokens/sconcept

相关事实

待验证tokens/s指标可细分为首token延迟（TTFT）和生成速率（Generation Throughput）两个子维度78% 相似待验证LLM推理服务的限流通常不仅基于请求次数，还会基于输入输出的Token总量进行限速74% 相似待验证推理模式的token消耗通常是普通模式的3-10倍，thinking tokens生成通常增加5-30秒延迟73% 相似待验证大模型的“推理效率”通常指单位时间内可生成的 token 数（吞吐）与首 token 延迟。73% 相似待验证鲁棒性衡量当逐步移除最具区分度的 token 后，两个 LLM 是否仍能被区分72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1085413

API

curl https://kongchang.com/api/v1/knowledge/claims/1085413

MCP

get_claim(id=1085413)