[控场AI]
模型DepthGraft 架构

DepthGraft

一种分层跨层KV共享架构,通过步幅对齐的浅层-中层源对重建深层KV,将非局部梯度流分布到多个源层,缓解Pre-LN深度信息稀释,同时减少KV缓存约三分之一。

时间轴 (近 90 天)

11月3日

论文《DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction》提出了一种名为DepthGraft的分层KV共享架构。

待验证50%
11月3日

DepthGraft从步幅对齐的浅层-中层源对中重建深层KV,将非局部梯度流分布到多个源层。

待验证50%
11月3日

DepthGraft在KV缓存减少约三分之一的情况下实现了下游任务性能提升。

待验证50%
11月3日

DepthGraft保留了预填充早期完成特性,即深层KV可由浅层、中层已算出的KV重建,从而缩短首token延迟。

待验证50%
11月3日

在16B MoE模型上,DepthGraft在MMLU-Pro上取得7.0%的绝对提升,CMMLU提升6.6%,C3提升6.4%。

待验证50%
11月3日

DepthGraft在0.5B到16B参数的密集模型和MoE模型上进行了实验,覆盖GQA和MLA两种注意力机制。

待验证50%
11月3日

DepthGraft在GQA和MLA两种注意力机制下均验证有效,说明其分层重建的正则化效应不依赖特定注意力实现。

待验证50%
11月3日

DepthGraft项目页面已开源。

已过期50%

全部知识事实 (7)

来源文章