[控场AI]
概念提示调优 / 软提示

Prompt Tuning

一种参数高效微调方法,在输入嵌入序列前拼接可训练的连续嵌入向量(soft prompt),仅优化这些向量而不改变模型参数,实现轻量级任务适配。

时间轴 (近 90 天)

10月24日

前缀调优(Prefix Tuning)学习一段可训练的虚拟前缀作为额外键值对参与注意力计算;提示调优(Prompt Tuning)是其简化变体,只学习输入端的软提示向量。

待验证50%
10月24日

Prefix Tuning在每一层Transformer的注意力计算中注入可训练的前缀键值对,而Prompt Tuning仅将连续嵌入向量拼接在输入嵌入序列前。

待验证50%
10月24日

提示调优学习到的连续嵌入向量不对应词表中的任何真实token,因此丧失了可读性,无法直接翻译成人类可理解的自然语言指令。

待验证50%
10月24日

方法选择建议:追求低延迟、易部署、生态成熟优先LoRA;需要多任务隔离、模块化挂载考虑适配器;参数预算极紧、任务相对简单可试前缀或提示调优。

待验证50%
9月10日

Prompt Tuning由Lester等人在2021年提出,在输入embedding前拼接一组可学习的软提示向量

待验证50%

全部知识事实 (5)

来源文章