Fast-dLLM

Fast-dLLM 推理会跨去噪步骤复用 KV 状态以加速生成，但由于双向 token 表示会随掩码 token 逐步揭示而变化，复用的缓存可能已与完全重计算的结果存在偏差。

作者将 KIVI 和 KVQuant 适配到 Fast-dLLM 风格的 prefix 缓存和 dual 缓存复用场景，并提出了 TRACE 和 dLLM-KVQ 两种新方法。