待验证50% 置信事实精确时间
Transformer 推理分为 prefill 和 decode 两个阶段:prefill 一次性并行处理整段输入提示,主要受算力限制;decode 逐个生成输出 token,主要受显存带宽限制。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
SpecAgent:让强模型做审稿人,工具智能体推理成本减半
rss2026/10/15
涉及实体
相关事实
待验证P/D 分离(Prefill/Decode Disaggregation)将 Prefill 和 Decode 两阶段部署在不同节点,以针对各自计算特性独立扩容,同时优化吞吐量和首 token 延迟(TTFT)77% 相似已验证Transformer的编码器负责将输入序列映射为上下文表示,适用于分类理解类任务;解码器自回归生成输出序列,适用于文本生成任务77% 相似待验证Transformer使用位置编码(Positional Encoding)在并行计算的同时保留词的顺序信息76% 相似待验证输入Token可以在prefill阶段并行处理,而输出Token必须在decode阶段逐个串行生成76% 相似已验证原始Transformer由编码器(Encoder)和解码器(Decoder)构成,BERT类模型只用编码器擅长理解和分类,GPT类模型只用解码器专注文本生成76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046820API
curl https://kongchang.com/api/v1/knowledge/claims/1046820MCP
get_claim(id=1046820)