待验证50% 置信事实精确时间
Decode阶段是访存带宽密集型的，每步需从HBM重新加载模型权重和KV cache，决定inter-token延迟（ITL）
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证由于自回归特性，每个decode step都需要访问之前所有token的KV Cache72% 相似已验证预填充（Prefill）阶段是计算密集型任务，对算力要求高；解码（Decode）阶段是访存密集型任务，对显存带宽敏感69% 相似待验证阶段分离（Disaggregation）技术将预填充（prefill）和解码（decode）两个阶段拆分到不同硬件上处理69% 相似待验证prefill阶段负责处理输入prompt，一次性完成所有输入token的KV缓存计算；decode阶段逐个生成新token。66% 相似待验证将预填充（Prefill）与解码（Decode）分离到不同资源运行是当前大规模推理服务优化资源利用率的主流架构65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070125API
curl https://kongchang.com/api/v1/knowledge/claims/1070125MCP
get_claim(id=1070125)