待验证50% 置信事实精确时间
传统PD分离架构中,prefill节点和decode节点各自为政,KV缓存无法跨轮传递,导致上一轮算过的内容下一轮还得再算一遍。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证PD分离会破坏数据局部性,预填充节点生成的KV缓存需通过网络传输给解码节点,随输入序列变长带宽消耗和延迟上升69% 相似待验证缓存输入机制通过复用相同前缀内容的KV缓存跳过重复推理计算,命中缓存的Token以更低价格计费69% 相似待验证多轮对话中,每新增一条消息,历史向后延长,缓存只能匹配到最后一个稳定断点;若实现将滚动摘要、当前轮次元数据或重新格式化的历史插到前面,会导致整个前缀位移,侵蚀命中率。65% 相似待验证.detach()只切断计算图中的梯度传播关系,但仍与原张量共享内存64% 相似待验证如果遮挡物覆盖内部数据单元格但外圈完整,RS纠错大多能恢复数据;若遮挡物切断外圈,标记检测会干净地失败64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070060API
curl https://kongchang.com/api/v1/knowledge/claims/1070060MCP
get_claim(id=1070060)