待验证50% 置信事实精确时间
Fast-dLLM 推理会跨去噪步骤复用 KV 状态以加速生成，但由于双向 token 表示会随掩码 token 逐步揭示而变化，复用的缓存可能已与完全重计算的结果存在偏差。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/30
首次发现
有效期至：2027/1/28
来源
涉及实体
相关事实
已验证KV缓存随上下文长度线性增长，增加解码阶段每步的内存读取量，是解码速度随上下文增大而下降的根本原因75% 相似待验证TokenSpeed 的 MLA 解码内核在典型投机解码工作负载下，延迟约为 TensorRT-LLM 的一半。74% 相似待验证KV cache 是否命中显著影响推理延迟与成本，提示词前缀稳定、结构清晰有助于提速降费。74% 相似待验证dLLM缺失KV Cache机制，每轮去噪都需对全序列重新计算注意力，导致实际速度提升远低于理论值73% 相似已验证KV Cache（键值缓存）机制通过缓存自注意力层生成的 Key 和 Value 向量来避免重复计算以加速推理，但上下文越长需驻留显存的向量越多，内存压力呈近线性增长73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1115514API
curl https://kongchang.com/api/v1/knowledge/claims/1115514MCP
get_claim(id=1115514)