[控场AI]
概念PEFT / Parameter-Efficient Fine-Tuning

参数高效微调

参数高效微调(PEFT)是一类在微调大模型时只更新少量额外参数的技术,如LoRA、Prefix Tuning等,可大幅降低显存和计算需求。

核心事实

时间轴 (近 90 天)

11月18日

在参数高效微调方法快速涌现的背景下,独立、大规模、协议统一的评估比单一方法的性能宣称更有价值。

待验证50%
11月18日

Ambient SFT的未来方向可能扩展到更多模态和任务,或与参数高效微调技术结合,进一步降低微调门槛。

待验证50%
11月17日

只训练关键头的查询(query)和键(key)投影(仅改动0.02%参数)即可显著提升跨图任务准确率。

待验证50%
11月1日

全参数微调需要保存和更新全部权重,显存与算力开销都高;参数高效微调只训练少量附加参数,能在保持效果的同时大幅压缩资源占用。

待验证50%
10月28日

高频、低复杂度的请求占绝大多数,只有少数任务需要顶级算力,这一结构变化意味着算力需求不再与模型参数量同步增长。

待验证50%
10月19日

低质量样本在参数高效微调中更容易被放大为风格漂移,LoRA对数据质量与格式一致性同样敏感

待验证50%
10月14日

参数高效微调(PEFT)是一类通过只训练极少量新增或选定参数来适配下游任务的技术,代表性方法包括LoRA、前缀微调(prefix tuning)、适配器(adapter)等。

已验证75%
9月21日

功能定位的存在为参数高效微调、模块化编辑等方向提供了理论支撑

待验证50%
9月12日

在聊天数据量较小时使用LoRA等参数高效微调方法,可在小数据集上取得风格迁移效果,同时避免过拟合和灾难性遗忘

待验证50%

全部知识事实 (12)

已验证

参数高效微调(PEFT)是一类通过只训练极少量新增或选定参数来适配下游任务的技术,代表性方法包括LoRA、前缀微调(prefix tuning)、适配器(adapter)等。

75%
已验证

参数高效微调(PEFT)领域包括LoRA、QLoRA、Prefix Tuning、Adapter、IA³等方法,共同设计哲学是冻结大部分参数只训练少量新增参数

75%
已验证

LoRA微调只需训练不到1%的参数即可达到接近全参微调的效果,显存需求大幅降低至单张消费级显卡可承受范围

75%
已验证

混合精度训练和梯度累积等技术可以在有限GPU内存下训练更大模型

65%
待验证

在参数高效微调方法快速涌现的背景下,独立、大规模、协议统一的评估比单一方法的性能宣称更有价值。

50%
待验证

只训练关键头的查询(query)和键(key)投影(仅改动0.02%参数)即可显著提升跨图任务准确率。

50%
待验证

全参数微调需要保存和更新全部权重,显存与算力开销都高;参数高效微调只训练少量附加参数,能在保持效果的同时大幅压缩资源占用。

50%
待验证

高频、低复杂度的请求占绝大多数,只有少数任务需要顶级算力,这一结构变化意味着算力需求不再与模型参数量同步增长。

50%
待验证

低质量样本在参数高效微调中更容易被放大为风格漂移,LoRA对数据质量与格式一致性同样敏感

50%
待验证

功能定位的存在为参数高效微调、模块化编辑等方向提供了理论支撑

50%
待验证

在聊天数据量较小时使用LoRA等参数高效微调方法,可在小数据集上取得风格迁移效果,同时避免过拟合和灾难性遗忘

50%
待验证

Ambient SFT的未来方向可能扩展到更多模态和任务,或与参数高效微调技术结合,进一步降低微调门槛。

50%

来源文章