待验证50% 置信事实精确时间

LLM推理吞吐通常以token数为单位衡量（tokens/s），而非请求数（QPS）

1

来源数

50%

置信度

长期有效

时效性

2026/7/11

首次发现

来源

vLLM推理框架详解：吞吐优化核心原理与面试攻略

bilibiliAI大模型升升2026/6/9

相关事实

待验证LLM 本质上是基于统计模式的下一个 token 预测机器，输出是给定上下文下概率最高的文本序列69% 相似待验证LLM虽然不直接输出归一化概率向量，但可通过多种工程手段近似估计决策置信度68% 相似待验证选择性量化思路与LLM领域的GPTQ、AWQ等量化方法一脉相承68% 相似已验证LLM以自回归方式逐token生成输出，每个词的选择基于当前上下文的概率采样67% 相似待验证对于大语言模型推理，吞吐通常以 token 数为单位衡量，即 tokens/s 是评估 LLM 推理框架性能的核心指标67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/488188

API

curl https://kongchang.com/api/v1/knowledge/claims/488188

MCP

get_claim(id=488188)