待验证50% 置信事实精确时间
提示处理是并行计算，吞吐高，主要受算力和显存带宽限制；生成阶段是逐token自回归串行瓶颈，因此生成速度通常只有提示处理速度的几十分之一。
1
来源数
50%
置信度
长期有效
时效性
2026/10/26
首次发现
来源
涉及实体
相关事实
待验证在推理阶段输入内容通过并行化注意力机制一次性处理，而输出内容需自回归逐Token生成，无法并行化，构成大模型推理延迟的根本瓶颈74% 相似待验证内存带宽决定权重读取速度并影响生成每个token的延迟，浮点算力（FLOPS）决定矩阵运算速度并影响prefill阶段处理输入提示词的速度74% 相似待验证协调遗漏（Coordinated Omission）指闭环负载生成器中，被测系统变慢时生成器同步放慢发送节奏，导致排队延迟被系统性低估；开环调度按固定时间表发送请求可避免此问题。74% 相似待验证该模型使用双向注意力编码器架构，一次前向计算完成，延迟是常数级的，不随内容长度线性增长72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1099110API
curl https://kongchang.com/api/v1/knowledge/claims/1099110MCP
get_claim(id=1099110)