概念适配器
Adapter
插入到预训练模型中的一小部分可训练参数,微调时冻结主体权重只更新adapter,属于参数高效微调(PEFT)方法,训练开销小且不易破坏原模型能力
时间轴 (近 90 天)
10月12日
Rubric-CEPR 通过轻量级 adapter 将验证后的最佳候选蒸馏回编辑器,只更新少量参数,而非重新训练整个模型。
待验证50%
9月10日
Adapter方法的缺点是推理延迟增加,因为信息流必须串行经过额外插入的模块
待验证50%
插入到预训练模型中的一小部分可训练参数,微调时冻结主体权重只更新adapter,属于参数高效微调(PEFT)方法,训练开销小且不易破坏原模型能力
Rubric-CEPR 通过轻量级 adapter 将验证后的最佳候选蒸馏回编辑器,只更新少量参数,而非重新训练整个模型。
Adapter方法的缺点是推理延迟增加,因为信息流必须串行经过额外插入的模块