模型合并
将多个独立训练的神经网络模型合并为单一模型的技术领域，包含权重平均、排列对齐、知识蒸馏、任务向量等多种方法，旨在无需重新训练即可整合多个模型的能力
核心事实
时间轴 (近 90 天)
模型合并有效依赖于一个经验观察：微调后的模型往往处在损失曲面上的同一个盆地中，因此线性组合它们的权重不会导致性能坍塌
目前学术界对模型合并与蒸馏统一框架的系统性研究仍不充分，鲜有论文把二者放在同一理论框架下严格比较
模型合并对模型架构的一致性要求很高，且难以精确控制合并后的行为
模型合并直接在参数空间中操作，把多个模型的权重按某种方式组合起来；无需训练数据或梯度回传，仅凭权重的代数运算就能产出新模型
蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
在最小容量假设下，将两个专精网络无损合并为同样大小的网络在数学上基本不可行，因为固定容量系统无法承载两倍信息
模型合并的成本极低，无需GPU算力，只需对权重文件做数学运算，因此在社区中极为流行
全部知识事实 (7)
蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
65%待验证模型合并直接在参数空间中操作，把多个模型的权重按某种方式组合起来；无需训练数据或梯度回传，仅凭权重的代数运算就能产出新模型
50%待验证模型合并有效依赖于一个经验观察：微调后的模型往往处在损失曲面上的同一个盆地中，因此线性组合它们的权重不会导致性能坍塌
50%待验证目前学术界对模型合并与蒸馏统一框架的系统性研究仍不充分，鲜有论文把二者放在同一理论框架下严格比较
50%待验证模型合并对模型架构的一致性要求很高，且难以精确控制合并后的行为
50%待验证在最小容量假设下，将两个专精网络无损合并为同样大小的网络在数学上基本不可行，因为固定容量系统无法承载两倍信息
50%待验证模型合并的成本极低，无需GPU算力，只需对权重文件做数学运算，因此在社区中极为流行
50%