概念Low-Rank Expert
低秩专家
通过低秩分解构造的轻量适配模块,仅包含少量可训练参数,插入冻结骨干网络特定层中学习域或任务特定的残差调整
时间轴 (近 90 天)
10月21日
APRIL是一种无样本的域增量学习框架,基于共享冻结的BEATs骨干网络,顺序继承并隔离低秩专家,使新域适应不改变旧模型。
待验证50%
10月21日
低秩专家是通过低秩分解(如LoRA)构造的轻量适配模块,每个专家仅包含少量可训练参数,插入冻结骨干的特定层中学习域特定残差调整。
待验证50%
通过低秩分解构造的轻量适配模块,仅包含少量可训练参数,插入冻结骨干网络特定层中学习域或任务特定的残差调整
APRIL是一种无样本的域增量学习框架,基于共享冻结的BEATs骨干网络,顺序继承并隔离低秩专家,使新域适应不改变旧模型。
低秩专家是通过低秩分解(如LoRA)构造的轻量适配模块,每个专家仅包含少量可训练参数,插入冻结骨干的特定层中学习域特定残差调整。