概念Trim, Elect Sign, Merge
TIES
一种模型合并方法,通过裁剪、符号选举、合并三步流程减少多个微调更新之间的参数干扰。
时间轴 (近 90 天)
11月5日
TIES方法在4B规模下精度波动6.7个百分点,而按损失效应选择仅波动0.7个百分点。
待验证50%
10月27日
在单目标扩展场景中,SSU-Wanda+TIES 在源语言保留与目标语言习得之间取得了最佳平衡,优于仅目标微调和标准TIES合并。
待验证50%
10月27日
SSU-Wanda 用于选择对源语言重要的参数进行保护,TIES 通过合并多个更新来减少干扰。
待验证50%
10月27日
TIES(Trim, Elect Sign, Merge)是一种模型合并方法,流程为:先裁剪每个更新向量中幅度最大的部分参数,再对冲突参数按多数更新方向进行符号选举,最后只合并与选举符号一致的参数。
待验证50%
10月8日
融合方式中LERP(线性插值)更偏向保留成人识别能力,而TIES更能恢复儿童识别增益
待验证50%
10月7日
TIES(Trim, Elect Sign & Merge)通过符号投票解决多任务向量叠加时的方向冲突问题
待验证50%
全部知识事实 (6)
待验证
TIES方法在4B规模下精度波动6.7个百分点,而按损失效应选择仅波动0.7个百分点。
50%待验证在单目标扩展场景中,SSU-Wanda+TIES 在源语言保留与目标语言习得之间取得了最佳平衡,优于仅目标微调和标准TIES合并。
50%待验证SSU-Wanda 用于选择对源语言重要的参数进行保护,TIES 通过合并多个更新来减少干扰。
50%待验证TIES(Trim, Elect Sign, Merge)是一种模型合并方法,流程为:先裁剪每个更新向量中幅度最大的部分参数,再对冲突参数按多数更新方向进行符号选举,最后只合并与选举符号一致的参数。
50%待验证融合方式中LERP(线性插值)更偏向保留成人识别能力,而TIES更能恢复儿童识别增益
50%待验证TIES(Trim, Elect Sign & Merge)通过符号投票解决多任务向量叠加时的方向冲突问题
50%