概念Sequential Local Operator Alignment / 序列局部算子对齐
SLOA
一种面向Transformer架构的免训练模型融合技术,通过序列化、局部化的算子对齐方式,在不进行任何梯度更新的前提下将多个预训练模型合并为单一模型
时间轴 (近 90 天)
10月8日
SLOA(Sequential Local Operator Alignment,序列局部算子对齐)是一种面向Transformer架构的免训练模型融合技术,无需梯度更新或微调即可将多个Transformer模型合并为一个统一模型
待验证50%
10月8日
免训练融合方法通过分析模型参数的数学结构、对权重进行对齐或插值来实现,避免了昂贵的梯度计算,无需访问原始训练数据
待验证50%
10月8日
SLOA的方法论可拆解为序列(按层或按模块逐步推进对齐)、局部(聚焦模型局部结构)、算子对齐(将对应算子对齐到同一表示空间后再融合)三个关键词
待验证50%