ReWY
一种针对Delta-rule线性注意力系列算子反向传播的代数重构优化方法，通过消去逆伴随、压缩WY矩阵相关矩阵乘法次数来加速梯度计算，适用于DeltaNet、GDN、KDA和GDN2等模型。
时间轴 (近 90 天)
ReWY通过代数重构将WY矩阵相关的七个局部矩阵乘法压缩到三个，并消去逆伴随。
ReWY的方法在精确算术下保持递推关系和梯度不变，不改变模型架构和训练目标。
ReWY对DeltaNet、GDN、KDA和GDN2四种算子均适用。
在NVIDIA GPU上，完整低层反向传播的几何平均加速为1.15–1.81倍。
在H100和H200上，四种算子的加速在1.18–1.70倍之间，且保留原始FP32工作矩阵。
在昇腾950DT上，独立公共autograd评测（包含梯度转换）取得1.09–2.89倍加速。
ReWY利用中心化矩阵收缩替代逐对向量门控处理。
ReWY的标量门控归约不再构造键的Gram矩阵，而是复用键梯度乘积。
1.15–1.81倍的加速是低层反向传播的几何平均，全模型端到端收益会因模型规模和训练配置而异。
全部知识事实 (9)
ReWY通过代数重构将WY矩阵相关的七个局部矩阵乘法压缩到三个，并消去逆伴随。
50%待验证ReWY的方法在精确算术下保持递推关系和梯度不变，不改变模型架构和训练目标。
50%待验证ReWY对DeltaNet、GDN、KDA和GDN2四种算子均适用。
50%待验证在NVIDIA GPU上，完整低层反向传播的几何平均加速为1.15–1.81倍。
50%待验证在H100和H200上，四种算子的加速在1.18–1.70倍之间，且保留原始FP32工作矩阵。
50%待验证在昇腾950DT上，独立公共autograd评测（包含梯度转换）取得1.09–2.89倍加速。
50%待验证ReWY利用中心化矩阵收缩替代逐对向量门控处理。
50%待验证ReWY的标量门控归约不再构造键的Gram矩阵，而是复用键梯度乘积。
50%待验证1.15–1.81倍的加速是低层反向传播的几何平均，全模型端到端收益会因模型规模和训练配置而异。
50%