论文Git Re-Basin论文
Git Re-Basin
2022年由Ainsworth等人提出的神经网络模型合并方法，通过匈牙利算法或随机梯度下降寻找神经元排列置换矩阵，将独立训练的同构网络对齐到同一坐标系后进行插值，显著改善了朴素权重平均的效果
核心事实
时间轴 (近 90 天)
10月8日
Git Re-Basin通过求解排列矩阵将一个模型的神经元顺序重新映射到另一个模型的对应位置，可显著缩小两模型在损失曲面上的距离
待验证50%
10月2日
Git Re-Basin由Ainsworth等人于2022年提出，是排列对齐方法的代表性工作
待验证50%
10月2日
Git Re-Basin通过匈牙利算法或随机梯度下降寻找使网络B激活分布最接近网络A的神经元置换矩阵
待验证50%
10月2日
神经元对齐后两个网络之间的损失地景往往呈现线性模式，插值模型可保持相当性能，而朴素平均通常落入高损失的障碍区
已验证65%
10月2日
Git Re-Basin在数据分布差异较大的异构任务上效果不及同任务微调场景
待验证50%