待验证50% 置信事实精确时间
预填充-解码分离架构将两个阶段放到不同的实例或资源池中执行，导致KV缓存需要在两者间传输或共享，增加缓存迁移成本。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
待验证分离式推理将计算密集的预填充阶段与内存带宽密集的解码阶段解耦，分配到各自最适合的硬件资源池独立扩缩容76% 相似待验证在多节点 prefill/decode 分离架构中，prefill 节点需将生成的 KV cache 通过高速网络传给 decode 节点，节点间通信是关键瓶颈，KV cache 传输效率直接决定分离架构能否兑现性能收益。74% 相似待验证在分离式推理中预填充节点生成的KV缓存必须实时传递给解码节点，对于长上下文或大批量请求单次传输可能高达数GB74% 相似待验证在缓存密集型的长上下文多轮agent工作流中，切换到更强模型的成本增量会被缓存读取稀释，未必意味着成本翻倍71% 相似待验证分卷压缩（multi-part archive）场景下的跨卷处理增加了边解压边释放实现的工程复杂度71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1011567API
curl https://kongchang.com/api/v1/knowledge/claims/1011567MCP
get_claim(id=1011567)