层剪枝

D3D 采用按层渐进式剪枝来降低异步打包起草的额外计算开销，每层的剪枝依据是它对接受长度的影响。

该研究在数学与编码的四类基准上，对专家剪枝、FFN剪枝和层剪枝进行了系统比较。

层剪枝直接删除Transformer中的整个解码层，减少参数量和计算量，但可能丢失被删层承载的长尾知识或特定语言能力，往往需要少量恢复性微调。