Unverified50% confidenceFactExact time
自回归生成每个Token都需要完整的前向传播,而输入只需一次编码,这是输出比输入贵的成本结构原因
1
Sources
50%
Confidence
Long-term
Relevance
7/17/2026
First Seen
Sources
Related Claims
Unverified自回归解码具有串行特性,每个Token的生成依赖前一个Token,难以并行78% similarUnverified代码场景中输入侧需携带大量代码上下文,输入 Token 量往往数倍于输出,放大成本75% similarUnverified生成输出的算力消耗通常远高于处理输入,部分厂商区分输入Token与输出Token的独立限额74% similarUnverified大语言模型推理中输出 token 的实际硬件成本远高于输入 token,因解码阶段是内存带宽受限的串行过程68% similarUnverified输出Token定价高于输入Token是因为Prefill阶段可并行矩阵运算而Decode阶段必须串行自回归解码,Decode阶段GPU吞吐量约为Prefill阶段的1/6到1/1068% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/547410API
curl https://kongchang.com/api/v1/knowledge/claims/547410MCP
get_claim(id=547410)