待验证50% 置信事实精确时间
RTK 在输出进入上下文之前做压缩,减少的是输入侧的 token 基数,而不是输出侧的字数。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/10
首次发现
有效期至:2027/2/8
来源
涉及实体
相关事实
待验证RNN和LSTM以串行方式处理文本,逐个Token读入并将前文信息压缩成固定大小的隐藏状态向量传递63% 相似待验证vLLM 实现了 decode 节点将已计算的 KV 块回传给 prefill 节点的双向 KV 传输机制,消除了多轮对话中公共前缀的重复 prefill 计算。62% 相似待验证输入Token可以在prefill阶段并行处理,而输出Token必须在decode阶段逐个串行生成61% 相似待验证前缀缓存将提示词按固定大小(如 16 token)切分为缓存页,每页对应一段 KV,并建立哈希索引;新请求到达时逐页比对输入 token,命中即可引用已算好的 KV 页并跳过对应的预填充计算。61% 相似待验证处理输入可以借助 KV Cache 等机制摊薄计算成本,而生成每个输出 token 需要完整的前向推理61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1155544API
curl https://kongchang.com/api/v1/knowledge/claims/1155544MCP
get_claim(id=1155544)