待验证50% 置信事实精确时间
TTFT 主要由预填充阶段决定，是计算瓶颈，依赖 GPU 矩阵乘法吞吐；解码速度是内存带宽瓶颈，需把模型权重和 KV 缓存从内存搬到计算单元。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证长上下文在首次推理时需完整计算KV Cache，消耗GPU计算资源并占用显存带宽，拉长首token延迟（TTFT）77% 相似待验证预填充阶段属于计算密集型操作主要受 GPU 算力限制，解码阶段属于内存带宽密集型操作主要受显存带宽限制73% 相似待验证在多节点 prefill/decode 分离架构中，prefill 节点需将生成的 KV cache 通过高速网络传给 decode 节点，节点间通信是关键瓶颈，KV cache 传输效率直接决定分离架构能否兑现性能收益。72% 相似已验证对于现代CPU和GPU而言，内存带宽往往是推理速度的真正瓶颈，而非计算单元的算力本身，因此量化能带来速度提升72% 相似待验证生成吞吐（tok/s）反映解码阶段效率，受 KV Cache 大小和显存带宽影响，对输入长度的敏感程度远低于预填充70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038334API
curl https://kongchang.com/api/v1/knowledge/claims/1038334MCP
get_claim(id=1038334)