换一个推理提示词，罕见类召回率就回来了？VLM微调失衡新发现

不平衡微调下，罕见类为何"失忆"

视觉语言模型（VLM）在类别不平衡数据上微调后，常出现一个反直觉现象：罕见类别的召回率甚至会低于模型自身的零样本表现。换句话说，微调不仅没有让模型在这些稀有类别上变得更好，反而把它原本会的东西"忘掉了"。

一篇新研究围绕这一现象展开，提出了一个简单却有效的推理策略——跨提示推理（Cross-Prompt Inference）：微调时用的是一个描述性提示，推理时不再复用同一个描述性提示，而是换用另一个不同的描述性提示。结果显示，这一改动能持续恢复罕见类的召回率。

什么叫"匹配提示惩罚"

研究者将微调时使用的描述性提示直接用于推理的标准做法，称为"匹配提示"设置，并揭示了一个他们称为 matched-prompt penalty（匹配提示惩罚） 的意外现象：复用微调提示反而可能比换一个不同的描述性提示带来更低的罕见类召回。

关键在于，这一效果并非源于提示本身质量的高低，而是训练-评估提示之间的交互作用造成的。研究指出，如果改用的不是描述性提示（non-descriptive prompt changes），这种效应并不会出现。这提示问题核心在于描述性语义与微调记忆之间的耦合，而非单纯的措辞优劣。

描述性提示（descriptive prompt） 指的是一段用自然语言描述目标类别或其视觉特征的文本，例如"一只毛色雪白的猫，耳朵尖而挺立"。在视觉语言模型的零样本推理中，描述性提示被用来构建类别对应的文本嵌入，模型据此与图像特征做匹配。而在微调阶段，如果训练数据使用同一套描述性提示作为标签载体，模型的参数更新会围绕这些具体措辞形成记忆。所谓"非描述性提示"，则可能是模板化的、不含类别语义描述的空壳提示（如仅写"类别："），它无法触发同样的文本-图像对齐记忆，因此也不会诱发出与匹配提示相同的行为偏移。

六大数据集上的跨模型验证

为验证跨提示推理的普适性，研究在六类数据集上评估了多种不同的VLM。结论是一致的：跨提示推理能稳定地恢复罕见类召回，代价是在常见类召回上出现不同幅度的权衡。

该效应的强弱与任务特征相关——当类别不平衡与视觉混淆性共同造成显著的罕见类压制时，效果最强；而当这种压制本身不存在或不明显时，跨提示推理的优势也随之减弱甚至消失。这说明跨提示推理针对的正是"被压制的那部分能力"，而不是一种无差别的通用增益。

TuCo拆解：模型被拉回预训练侧

研究者借助 Tuning Contribution（TuCo） 工具进一步探查了内部机制。TuCo将模型的计算分解为预训练部分与微调部分两块贡献。

分析发现，跨提示推理降低了对微调所引入计算的依赖，把模型的计算重心推回到预训练组件上。更直接的证据是：当人为减少微调的贡献时，跨提示推理所带来的优势也大幅缩水。这从因果层面支持了"罕见类知识其实仍在预训练部分中保留"的判断。

Tuning Contribution（TuCo） 是一套用于分解模型前向计算来源的分析工具。其基本思路是：在同一个输入上分别计算预训练权重和微调后权重对最终输出的贡献，将总计算近似拆解为"预训练部分"与"微调部分"。在视觉语言模型上，这通常通过比较微调前后各层激活或输出logits的差异来实现。TuCo并非一个可训练的模块，而是一种事后诊断手段，帮助研究者判断模型的决策究竟更多依赖微调时学到的新参数，还是预训练阶段已固化的旧知识。正因如此，它才能揭示跨提示推理下计算重心从微调侧向预训练侧回移的现象。

一个更宏观的启示

这项工作的价值，不只是给出了一个零成本、无需重训的推理技巧，更在于重新界定了不平衡微调"遗忘"的本质：被压制的罕见类知识并未从模型中消失，只是在一个特定的推理提示下难以被调用。

对实践者而言，这提供了两条思路。其一，在不平衡数据微调后，不妨尝试更换一个描述性提示做推理，以低成本找回罕见类性能。其二，微调过程中对"微调贡献"的过度依赖值得警惕——过度依赖微调部分，可能正是罕见类能力被遮蔽的根源。将模型计算适度导向预训练组件，或许是一条更稳健的微调路线。