多轮对话中，谁的价值取向会胜出？推理时对齐新研究

人类价值观深刻影响着我们对语言模型行为的预期。主流对齐方法将价值观视为全局目标，但合适的价值取向其实是因人而异、因情境而变的。无需训练的对齐技术——推理时对齐（Inference-Time Alignment）——能在推理阶段将模型引导向目标价值观，然而这类方法此前大多只在单轮对话和单一引导方向（如偏向安全）下被评估。一项新研究把测试场景搬到了多轮对话中，让用户模型与助手模型朝相同或相反、但同样合理的价值观拉扯，结果暴露出不少被单轮评测掩盖的问题。

单轮测试掩盖了什么问题

研究团队评估了四类基于提示（prompt-based）和激活（activation-based）的引导方法，覆盖三个模型和两组价值权衡（value trade-offs）。与以往不同，他们用线性探针（linear probe）在整段对话中持续追踪对齐程度，而不是只看开头一两轮的效果。

关键发现来自"反向拉扯"的场景：当助手和用户朝相反方向发力时，往往是符合助手基线偏好（baseline bias）的那一方最终占了上风。换句话说，模型自身的默认倾向会在多轮交互中悄悄"赢"过用户的引导。

更微妙的是时间效应。一些在对话初期看起来成功的引导，在几轮之后会逐渐衰减甚至发生反转。这意味着，仅凭单轮或前几轮的评测结果来判断对齐方法是否有效，很可能得出过于乐观的结论。

线性探针（linear probe） 是一种常用于可解释性研究的轻量级工具：它不加改动地读取模型某一层（通常是中间层或后段层）的内部激活向量，然后在其上训练一个简单的线性分类器，用来判断该向量是否携带某种特定语义属性（比如「当前回答是否偏向安全」「是否倾向某一种价值」）。它的优点是训练成本极低、几乎不影响生成过程，因此可以在对话的每一轮都实时读取一次，就像给模型装上一支持续测量的温度计。研究中正是借助它逐轮打分，才得以观察到对齐程度并非单调上升，而是可能在数轮后衰减甚至翻转——这类「时间曲线」是只看最终输出或前几轮样本时无法发现的。同样，激活引导（activation-based steering） 与提示引导（prompt-based） 的区别也值得注意：前者直接干预模型内部激活方向，后者则通过输入文本间接影响，两者在多轮累积误差下的表现差异正是该研究所比较的核心。

为什么"反向"评测如此重要

价值对齐很少是单一维度的。研究设置了成对的价值权衡，且两个方向都被认为是同样合理的诉求——并不是"安全 vs 不安全"这种有明显对错的设定，而是诸如两种正当价值之间的取舍。

在这种设定下，模型偏向哪一方并不是天然的善恶问题，而是一个偏好问题。当引导方向与模型基线偏好一致时，方法看起来有效；一旦方向相反，效果就可能大打折扣。这提示研究者和产品团队：

• 对齐评测必须覆盖价值权衡的两个方向，不能只测"往安全拉"这一个方向；
• 评测必须跑完整段对话，而不是截取前几轮；
• 模型自身的基线偏好是一个需要被显式测量和对待的变量。

基线偏好（baseline bias） 指的是模型在没有任何引导、没有任何特殊提示时，对某个价值维度天然表现出的默认倾斜。它来自预训练语料的统计分布、指令微调数据的选择倾向以及偏好对齐（如 RLHF）时人类标注者的群体共识，因此往往是一种「隐形的先验」。在多轮对话中，这种先验会通过模型对上下文的持续再解释而不断自我强化：每一轮生成都在为下一轮提供上下文，偏向某侧的措辞会被反复引用和放大，最终形成一种惯性。当用户的引导方向与基线偏好一致时，二者叠加，看起来「引导生效了」；而当方向相反时，用户的外力需要每一轮都对抗这股惯性，一旦引导信号强度不足或衰减，基线偏好就会重新占据主导。这也解释了为什么「价值权衡」不能简化成「安全 vs 不安全」：后者有明确对错，而前者是两个同样正当的诉求之间的取舍，此时模型偏向哪边纯粹是偏好问题，而非能力或道德问题。

对推理时对齐实践的启示

推理时对齐因为无需重新训练、部署灵活，一直被视为有吸引力的方案。但这项研究说明，它在多轮、双向的真实对话压力下并不稳固。

对开发者而言，直接的行动建议是：把多轮对话和双向价值权衡纳入对齐方法的常规评测流程；对产品方而言，需要意识到用户与助手价值观冲突时，模型默认倾向可能才是实际主导因素。

研究本身并未给出"哪种引导方法最好"的简单结论，而是把重点放在评测方法论上——只有当我们用足够长、足够双向的对话去检验，才能看清推理时对齐的真实边界。

推理时对齐（Inference-Time Alignment） 是一类无需重新训练模型参数、仅在生成阶段施加干预的技术统称。它的吸引力在于：基座模型保持不变，通过提示工程、激活引导、解码约束等手段，就可以在部署时灵活切换目标价值观，避免了为每一种价值取向单独微调的高昂成本。但它的代价也十分明显——干预是「外部叠加」的，模型自身的参数化倾向并未改变，因此当干预信号在多轮交互中被稀释、被上下文淹没，或者与模型内部表示方向不一致时，效果就会打折扣。与它常被拿来对比的是训练时对齐（如 RLHF、DPO），后者把价值偏好直接写入权重，稳定性更强但灵活性差、且难以针对个体用户动态调整。这项研究的意义正在于划出了推理时对齐的能力边界：它适合轻量、短程、方向与基线一致或中立的引导；而在长对话、双向价值冲突的场景下，单靠推理时干预并不足以保证用户价值观最终胜出。