待验证50% 置信注意事项精确时间
Task Arithmetic的有效性建立在多个微调模型共享同一预训练起点的前提上,对两个从随机初始化独立训练的网络无法直接套用
1
来源数
50%
置信度
长期有效
时效性
2026/10/2
首次发现
来源
涉及实体
相关事实
待验证直接平均权重的方法在两个模型从同一初始化微调而来时有时有效,但对独立随机初始化、各自从头训练的网络通常会得到性能糟糕的结果76% 相似待验证从头训练意味着不使用任何预训练权重,而是用随机初始化的参数在全新数据集上完成完整的训练过程74% 相似待验证多任务学习范式中共享编码器只需提取一次特征,相比独立运行两个完整模型理论上可节省 40%-60% 的计算量73% 相似待验证研究发现在单个网络中同时训练两个方向的表现优于分别训练两个专门模型72% 相似待验证Task Arithmetic由Ilharco等人于2023年提出,将微调后模型权重减去预训练权重得到任务向量,多个任务向量相加后叠加回预训练权重可组合多任务能力72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/968593API
curl https://kongchang.com/api/v1/knowledge/claims/968593MCP
get_claim(id=968593)