DepthGraft
一种分层跨层KV共享架构,通过步幅对齐的浅层-中层源对重建深层KV,将非局部梯度流分布到多个源层,缓解Pre-LN深度信息稀释,同时减少KV缓存约三分之一。
时间轴 (近 90 天)
论文《DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction》提出了一种名为DepthGraft的分层KV共享架构。
DepthGraft从步幅对齐的浅层-中层源对中重建深层KV,将非局部梯度流分布到多个源层。
DepthGraft在KV缓存减少约三分之一的情况下实现了下游任务性能提升。
DepthGraft保留了预填充早期完成特性,即深层KV可由浅层、中层已算出的KV重建,从而缩短首token延迟。
在16B MoE模型上,DepthGraft在MMLU-Pro上取得7.0%的绝对提升,CMMLU提升6.6%,C3提升6.4%。
DepthGraft在0.5B到16B参数的密集模型和MoE模型上进行了实验,覆盖GQA和MLA两种注意力机制。
DepthGraft在GQA和MLA两种注意力机制下均验证有效,说明其分层重建的正则化效应不依赖特定注意力实现。
DepthGraft项目页面已开源。
全部知识事实 (7)
论文《DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction》提出了一种名为DepthGraft的分层KV共享架构。
50%待验证DepthGraft从步幅对齐的浅层-中层源对中重建深层KV,将非局部梯度流分布到多个源层。
50%待验证DepthGraft在KV缓存减少约三分之一的情况下实现了下游任务性能提升。
50%待验证DepthGraft保留了预填充早期完成特性,即深层KV可由浅层、中层已算出的KV重建,从而缩短首token延迟。
50%待验证在16B MoE模型上,DepthGraft在MMLU-Pro上取得7.0%的绝对提升,CMMLU提升6.6%,C3提升6.4%。
50%待验证DepthGraft在0.5B到16B参数的密集模型和MoE模型上进行了实验,覆盖GQA和MLA两种注意力机制。
50%待验证DepthGraft在GQA和MLA两种注意力机制下均验证有效,说明其分层重建的正则化效应不依赖特定注意力实现。
50%