[控场AI]
概念前缀调优

Prefix Tuning

一种参数高效微调方法,不改变模型结构,而是学习一段可训练的连续前缀键值对注入到 Transformer 每一层的注意力计算中,以隐空间条件适配下游任务。

时间轴 (近 90 天)

10月24日

前缀调优(Prefix Tuning)学习一段可训练的虚拟前缀作为额外键值对参与注意力计算;提示调优(Prompt Tuning)是其简化变体,只学习输入端的软提示向量。

待验证50%
10月24日

Prefix Tuning在每一层Transformer的注意力计算中注入可训练的前缀键值对,而Prompt Tuning仅将连续嵌入向量拼接在输入嵌入序列前。

待验证50%
10月24日

方法选择建议:追求低延迟、易部署、生态成熟优先LoRA;需要多任务隔离、模块化挂载考虑适配器;参数预算极紧、任务相对简单可试前缀或提示调优。

待验证50%

全部知识事实 (3)

来源文章