MoPrO-SD：面向立场检测的模块化提示优化框架

立场检测为何让大模型头疼

立场检测（Stance Detection）要求模型判断一段文本对某个目标（话题、人物、政策）持支持、反对还是中立态度。这个任务看似简单，实则充满陷阱：隐含的观点、反讽式表达、以及高度依赖上下文的措辞，都会让大语言模型（LLM）判断失误。

相比传统的微调（fine-tuning），自动提示优化（Automatic Prompt Optimization）提供了一条不更新模型参数的替代路径。但现有的结构化提示优化方法大多是通用设计，并没有专门围绕立场标签的语义特征和各类别特有的歧义来展开。换句话说，它们没有针对立场检测这一具体任务的痛点做文章。

正是在这个背景下，研究者提出了 MoPrO-SD —— 一个专门面向立场检测的提示优化框架。

自动提示优化（Automatic Prompt Optimization，APO）是指在不调整模型权重的情况下，通过算法自动搜索或改写提示文本，使模型在目标任务上的表现最大化。与人工撰写提示相比，APO 能系统地探索更大的提示空间；与微调相比，它对算力和数据量的要求大幅降低。常见的 APO 方法包括基于梯度信号的软提示优化（soft prompt tuning）、基于 LLM 自身生成能力的文本级优化（如 OPRO、ProTeGi），以及强化学习驱动的策略搜索。这些通用方法的局限在于，它们把提示视为一个整体进行优化，没有区分提示中承担不同功能的片段，也不会针对具体任务的标签歧义做差异化处理——这正是 MoPrO-SD 试图突破的瓶颈。

MoPrO-SD 的核心思路：模块化拆解与顺序精炼

MoPrO-SD 的核心做法是把提示（prompt）拆解成若干功能性语义模块，然后借助 LLM 自身的反馈对这些模块进行顺序精炼。这种模块化设计让优化过程更有针对性，可以逐段改进提示中承担不同功能的部分，而非把提示当作一个不可分割的整体来调整。

框架研究了三种精炼策略，构成一条逐步增强的递进路线：

• 仅指令优化（I）：只对指令本身进行改写优化。
• 指令加推理（I+R）：在优化指令的同时引入推理过程。
• 指令加逐例推理（I+R+E）：进一步针对每个样本加入推理，粒度更细。

一个关键创新在于，MoPrO-SD 使用**类别条件化错误（class-conditioned errors）**来精炼立场标签。也就是说，它会针对每一个具体的立场类别（如"支持""反对"）单独分析错误，而不是把所有类别的错误混在一起处理。这种做法直击立场检测中"各类别歧义不同"的本质问题。

类别条件化错误（class-conditioned errors）的概念值得进一步说明。在传统的提示优化流程中，模型通常收集所有预测错误的样本，将它们汇总后生成一条统一的改进反馈（pooled feedback）。这种"一锅端"的方式忽略了不同类别之间错误模式的差异——例如，模型误判"反对"标签的原因（往往源于隐晦的反讽表达）与误判"中立"标签的原因（常见于措辞模糊或双向陈述的文本）截然不同。类别条件化方法则分别为每个立场类别收集错误案例，独立生成针对该类别的诊断与修改建议，最终将各类别的修订结果整合进提示。这种细粒度反馈机制让优化信号更加精准，避免了不同类别的错误信息相互稀释。

VaccineStance：一个新的人工标注基准

除了方法本身，研究团队还贡献了一个新的数据集 —— VaccineStance，这是一个专门针对疫苗立场检测的人工标注基准。

立场检测领域的公开基准相对有限，而疫苗话题又恰好是立场表达高度两极化、语境敏感的典型场景，隐含观点和情绪化表达尤为常见。VaccineStance 的引入，为后续研究提供了一个更贴近真实舆论环境的测试场。该数据集与 MoPrO-SD 的代码均已在 GitHub 上开源。

实验结果：类别条件反馈的优势显现

研究在四个数据集和五个开源权重 LLM上进行了实验，结果显示 MoPrO-SD 在许多设置下都优于人工撰写的基线提示（Base prompt）。

几个值得关注的发现：

• 在 SemEval-2016 数据集上，类别条件反馈（class-conditioned feedback）在五个骨干模型中的四个上，取得了比汇总反馈（pooled feedback）更高的平均 Macro-F1 分数。这验证了"分类别处理错误"确实比"一锅端"更有效。
• 两种基于推理的策略 I+R 和 I+R+E 都表现强劲，但它们的相对优劣在不同模型和数据集之间会发生变化 —— 没有一种策略能在所有场景下绝对胜出。
• 整体而言，MoPrO-SD 与近期的提示优化方法相比保持了竞争力。

这些结果说明，针对任务语义特性做定制化的提示优化，确实能带来可观的性能提升，而推理过程的引入也普遍有益，只是最佳粒度需要结合具体模型和数据来权衡。

Macro-F1 是评估多分类任务时常用的指标，尤其适合类别分布不均衡的场景。它的计算方式是：先分别计算每个类别的 F1 分数（精确率与召回率的调和平均），再对所有类别取简单平均，赋予每个类别相同权重，而非按样本数量加权。在立场检测数据集中，"中立"类别的样本量通常远少于"支持"或"反对"，若使用加权平均，模型只需在多数类上表现良好便能获得虚高的分数。Macro-F1 迫使模型在所有类别上均衡表现，因此成为衡量立场检测方法优劣的更严格标准，也是该领域论文对比实验的通行指标。

对实践者的启示

MoPrO-SD 的价值不只在于它在立场检测上的表现，更在于它展示了一种可迁移的方法论：把提示拆成功能模块、用类别条件化的错误反馈来迭代改进。对于那些受限于算力、无法频繁微调模型的团队来说，这种"只改提示不改参数"的优化路径颇具吸引力。

当然，三种精炼策略的效果因模型和数据集而异，也提醒我们提示优化并非一劳永逸 —— 在落地时仍需结合自身场景做实验验证。随着代码和 VaccineStance 数据集的开源，这类研究的可复现性和可扩展性都将进一步提升。