[控场AI]
模型D3D 扩散起草器

D3D

复旦大学提出的扩散起草模型,采用块级去噪与自回归辅助监督,实现异步投机解码,提升大模型推理速度。

时间轴 (近 90 天)

11月5日

D3D 是复旦大学生成视觉团队提出的投机解码方法,通过解耦起草器与目标模型隐状态的依赖来加速大模型推理。

待验证50%
11月5日

D3D 是一个独立的扩散起草器,核心设计结合了块级去噪(并行生成整块候选 token)与辅助自回归监督(维持较长的高质量接受前缀)。

待验证50%
11月5日

D3D 放弃使用目标模型隐状态作为条件信号,转而用自回归监督补偿起草质量。

待验证50%
11月5日

D3D 可以在目标模型执行验证的同时,通过一次打包前向(packed pass)起草后续块,实现异步投机解码。

待验证50%
11月5日

D3D 采用按层渐进式剪枝来降低异步打包起草的额外计算开销,每层的剪枝依据是它对接受长度的影响。

待验证50%
11月5日

在以 Qwen3-8B 为目标模型的三个基准上,D3D 去掉 36 层中的 5 层后,平均接受长度仍保留超过 99%。

待验证50%
11月5日

跨七个基准的评测中,以 Qwen3-8B 为目标模型时,D3D 取得 5.00 倍的平均解码加速。

待验证50%
11月5日

在 GSM8K 基准上,以 Qwen3-32B 为目标模型时,D3D 的加速比达到 7.48 倍。

待验证50%
11月5日

D3D 的代码已在 GitHub 上开源,仓库路径为 fudan-generative-vision/D3D。

待验证50%

全部知识事实 (9)

来源文章