[控场AI]
概念Weight-space Merging / 模型权重融合

权重空间融合

一种模型融合的事后处理技术,通过在参数空间对多个模型的权重进行数学合并,使融合后的模型兼具各来源模型的能力,常见方法包括线性插值(LERP)和TIES等

时间轴 (近 90 天)

10月8日

该研究对比了全量微调、LoRA低秩适配、事后权重空间融合三种适配策略

待验证50%
10月8日

对于编码器-CTC、Whisper以及基于AudioLLM的系统,事后权重融合往往能改善适配与保留之间的平衡

待验证50%
10月8日

若主要关注原始识别准确率且使用编码器-解码器架构,双语全量微调是可靠选择;若希望不牺牲成人识别能力提升童声表现,则权重空间融合更值得尝试

待验证50%

全部知识事实 (3)

来源文章