概念前缀调优
Prefix Tuning
一种参数高效微调方法,不改变模型结构,而是学习一段可训练的连续前缀键值对注入到 Transformer 每一层的注意力计算中,以隐空间条件适配下游任务。
时间轴 (近 90 天)
10月24日
前缀调优(Prefix Tuning)学习一段可训练的虚拟前缀作为额外键值对参与注意力计算;提示调优(Prompt Tuning)是其简化变体,只学习输入端的软提示向量。
待验证50%
10月24日
Prefix Tuning在每一层Transformer的注意力计算中注入可训练的前缀键值对,而Prompt Tuning仅将连续嵌入向量拼接在输入嵌入序列前。
待验证50%
10月24日
方法选择建议:追求低延迟、易部署、生态成熟优先LoRA;需要多任务隔离、模块化挂载考虑适配器;参数预算极紧、任务相对简单可试前缀或提示调优。
待验证50%