概念任务向量方法 / 任务向量
Task Arithmetic
一种免训练模型融合方法,将微调模型与基础模型的参数差值定义为"任务向量",通过对任务向量进行向量加减运算,在参数空间中灵活组合多个模型的任务能力
时间轴 (近 90 天)
10月8日
任务向量方法(Task Arithmetic)将微调模型与基础模型的参数差值视为任务向量,通过向量加减在参数空间中组合多个任务能力
待验证50%
10月2日
Task Arithmetic由Ilharco等人于2023年提出,将微调后模型权重减去预训练权重得到任务向量,多个任务向量相加后叠加回预训练权重可组合多任务能力
待验证50%
10月2日
Task Arithmetic的有效性建立在多个微调模型共享同一预训练起点的前提上,对两个从随机初始化独立训练的网络无法直接套用
待验证50%