AmbiSteer:让视觉语言模型学会“不确定时反问”

AmbiSteer 用线性分类器调度激活引导,缓解 VLM 指代歧义下的过度自信。
视觉语言模型在指代歧义场景下常过度自信,默认选择单一解释而非承认不确定性。AmbiSteer 研究探讨激活引导能否作为推理时机制选择性激发歧义感知行为。实验发现,单独使用激活引导效果有限且依赖模型,提示策略通常更有效;提示与引导结合虽显著增加澄清和枚举行为,却也会在无歧义输入上误触发。为此,AmbiSteer 引入线性分类器预测输入是否存在歧义,并据此条件化引导方向,使输入被恰当处理的比例从平均 59.0% 提升至 77.0%。该工作为不确定多模态场景下的过度自信提供了轻量级、易部署的推理时解决方案,并留下分类器准确率影响、引导可迁移性与任务泛化等开放问题。
视觉语言模型(VLM)在视觉证据不足时常常表现得过度自信,给出笃定的答案而非承认不确定性。一项名为 AmbiSteer 的研究提出了一种轻量级框架,通过激活引导(activation steering)结合提示策略,选择性激发模型的歧义感知行为,将输入被恰当处理的比例从平均 59.0% 提升到 77.0%。

问题:指代歧义下的过度自信
在视觉问答(VQA)中,指代歧义是一个典型场景:图像中存在多个实体都可能是问题的指向对象。例如问“那个红色的物体是什么”,而图中有两个红色物体时,模型应当意识到歧义存在——要么请求澄清,要么枚举可能的指代对象——而不是默认选择其中一个强行作答。
当前 VLM 普遍难以做出这种区分,往往直接给出单一解释。这种过度自信在不确定的多模态场景中尤为危险,因为它掩盖了模型的实际认知边界。
方法:提示为主,引导为辅,分类器做调度
研究团队提出的核心问题是:激活引导能否作为一种推理时机制,选择性地激发歧义感知行为?AmbiSteer 的设计围绕三个层次展开。
引导单独作用有限
在三个 VLM 上的实验显示,仅靠激活引导的效果有限,且高度依赖具体模型。相比之下,提示(prompting)通常是更有效的手段。这说明单纯的内部状态干预不足以稳定地改变模型行为。
激活引导(activation steering) 是一类无需重新训练即可干预模型行为的推理时技术。其基本思路是:在模型前向传播过程中,定位与某种行为相关的内部激活方向(通常通过对比正负样本的隐藏状态均值差得到),然后在该层的激活向量上沿此方向加减一个缩放系数,从而增强或抑制对应行为。由于只修改推理时的激活值,激活引导成本极低、可即时开关,但效果高度依赖所选层、方向估计的质量以及模型内部表征的线性程度,这也解释了为何单独使用时效果有限且因模型而异。
提示与引导结合的双刃剑
将提示与引导结合后,模型请求澄清和枚举指代对象的行为显著增加。但副作用同样明显:这些行为也会在无歧义的输入上被触发,导致模型对明确问题也“过度谨慎”。
线性分类器做条件调度
AmbiSteer 的关键创新在于引入一个线性分类器来预测输入是否存在歧义,并据此条件化引导方向。只有当分类器判断输入具有歧义时,才施加相应的引导。这一调度机制使输入被恰当处理的比例从平均 59.0% 提升至 77.0%,在保持轻量级的同时实现了选择性激发。
线性分类器在这里指以模型内部隐藏状态(或池化后的表示)为输入、经一层线性变换加 Sigmoid/Softmax 输出歧义概率的轻量探针。相比训练一个完整的歧义检测模型,线性探针参数极少、训练数据需求小,且能直接复用 VLM 已有的表征,因而与“推理时干预”的整体轻量定位相匹配。其准确性直接决定调度的好坏:漏判会使歧义输入得不到引导,误判则会让明确输入被施加不必要的引导,产生“过度谨慎”。
意义:轻量级方法缓解多模态过度自信
这项工作的价值在于为不确定多模态场景下的模型过度自信问题提供了轻量级思路。与需要重新训练或大规模微调的方案不同,AmbiSteer 在推理阶段通过分类器调度引导方向,成本更低且更易部署。
研究也留下了一些开放问题:分类器的歧义判断准确率如何影响整体表现、引导方向在不同模型间的可迁移性、以及该方法在更复杂多模态任务上的泛化能力,都值得进一步探索。但作为奠基性工作,AmbiSteer 明确了“识别歧义—条件化响应”这一路径的可行性。
相关推荐

Gemini 4 Neon 曝光:或成 Opus 5.5 有力竞争者
Hacker News 讨论帖指出 Gemini 4 Neon 看起来像 Opus 5.5 的竞争者。本文解读这一社区信号背后的产品定位、顶级模型竞争格局变化,以及对开发者模型选型策略的实际意义。

Claude Fable 5.2 独立创作短片《Fable》引热议
Hacker News 上出现由 Claude Fable 5.2 独立完成剧本、画面与导演的短片《Fable》,本文分析全流程 AI 创作的意义、社区反应及对内容创作者的启示。

Anthropic IPO定价:AI巨头上市信号
Anthropic 进行 IPO 定价的消息引发关注。本文分析这一动作对 AI 行业估值、商业化路径和竞争格局的潜在影响,并指出公开市场对 AI 公司的期待与挑战。