待验证50% 置信事实精确时间
双向KV传输机制中,prefill向decode传递初始KV,decode在生成过程中产生的增量KV也回流到prefill侧,使每一轮在前一轮基础上做增量prefill而非全量重算。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至:2027/1/17
来源
涉及实体
相关事实
待验证前缀缓存复用会让 KV 值在不同于全新 prefill 的批次中计算,缓存命中的 KV 值与全新 prefill 的 KV 值在浮点层面可能不同,差异会沿后续 token 传播。65% 相似已验证大模型推理分为Prefill和Decode两个阶段,Prefill是首Token延迟(TTFT)的重要组成部分,Decode对应每Token生成时间(TPOT)64% 相似待验证CoDR只对模型不再认可的token进行重掩码并重新生成,而非推翻整段输出重来63% 相似待验证KV缓存作为Transformer类模型推理状态的载体,天然地混合了不同来源的信息,缺乏按关系隔离的机制。63% 相似已验证输出token单价通常高于输入token,因为生成过程需要逐token进行自回归解码62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070062API
curl https://kongchang.com/api/v1/knowledge/claims/1070062MCP
get_claim(id=1070062)