[控场AI]
概念任务向量方法 / 任务向量

Task Arithmetic

一种免训练模型融合方法,将微调模型与基础模型的参数差值定义为"任务向量",通过对任务向量进行向量加减运算,在参数空间中灵活组合多个模型的任务能力

时间轴 (近 90 天)

10月8日

任务向量方法(Task Arithmetic)将微调模型与基础模型的参数差值视为任务向量,通过向量加减在参数空间中组合多个任务能力

待验证50%
10月2日

Task Arithmetic由Ilharco等人于2023年提出,将微调后模型权重减去预训练权重得到任务向量,多个任务向量相加后叠加回预训练权重可组合多任务能力

待验证50%
10月2日

Task Arithmetic的有效性建立在多个微调模型共享同一预训练起点的前提上,对两个从随机初始化独立训练的网络无法直接套用

待验证50%

全部知识事实 (3)

来源文章