待验证50% 置信事实精确时间

直接平均权重的方法在两个模型从同一初始化微调而来时有时有效，但对独立随机初始化、各自从头训练的网络通常会得到性能糟糕的结果

1

来源数

50%

置信度

长期有效

时效性

2026/10/2

首次发现

来源

如何融合两个神经网络？模型合并与灾难性遗忘详解

涉及实体

权重平均concept

相关事实

待验证Task Arithmetic的有效性建立在多个微调模型共享同一预训练起点的前提上，对两个从随机初始化独立训练的网络无法直接套用76% 相似待验证研究发现在单个网络中同时训练两个方向的表现优于分别训练两个专门模型74% 相似待验证实验表明按由易到难顺序喂给模型训练样本能加速收敛并学到更鲁棒的特征表示，性能优于随机打乱顺序的训练73% 相似待验证对于MoE模型，路由层中两个专家得分极为接近时，微小数值差异可能翻转专家选择结果，导致分布式训练崩溃71% 相似待验证从头训练意味着不使用任何预训练权重，而是用随机初始化的参数在全新数据集上完成完整的训练过程70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/968584

API

curl https://kongchang.com/api/v1/knowledge/claims/968584

MCP

get_claim(id=968584)