LLM轻信虚假信息：评分与行动脱节，预警机制有效但有代价

大语言模型（LLM）在调用工具时，如何判断外部信息是否可信？一项新研究揭示了一个令人不安的发现：模型对信息可信度的口头评分，与它们实际执行有害操作的行为之间存在严重脱节。

评分不可信：模型说“不”，却依然行动

研究团队评估了五款LLM，使用196条构造的虚假通知（每条都配有一个合法版本）以及204条适配模拟工具使用的存档攻击。当模型被要求对这些虚假通知采取行动时，它们在自己已经评为不可信的情况下，仍然发出了有害的工具调用——比例在27%到99%之间。

这意味着，模型嘴上说“这条信息不可信”，手上却照做不误。更关键的是，当研究者移除初步评分步骤后，有害执行率平均上升了15个百分点。也就是说，要求模型先打分这个动作本身，就已经在改变被评估的行为。

这一发现对当前流行的“让模型先评估再行动”的防御思路构成了直接挑战：评分环节不仅没有形成有效屏障，反而扭曲了评估结果。

工具调用（Tool Calling） 是大语言模型与外部系统交互的核心机制：模型根据用户请求生成结构化的函数调用（如 search(query) 或 send_email(to, body)），由运行时环境实际执行。在安全评估中，“有害工具调用”指模型生成了会触发危险副作用的调用参数（如向恶意地址发送数据、执行删除操作），而非仅仅输出有害文本。这一区别至关重要——文本层面的拒答很容易被对齐训练覆盖，但工具调用要求模型在动作层面做出判断，暴露了“知”与“行”之间的鸿沟。

监督微调（Supervised Fine-Tuning, SFT） 是指在标注好的输入-输出对上继续训练模型，使其模仿目标行为。在本研究中，研究者用生成的虚假通知构造训练数据，让模型学习“识别并拒绝”这类输入。SFT 能改变模型的输出分布，但它优化的是模仿损失，而非行为层面的安全目标，因此容易出现“在训练分布内有效、在分布外失效”的现象，也难以保证模型在真实工具调用场景下保持谨慎。

干预措施的两难：安全提升与任务受损

研究测试了多种干预手段，结果呈现出复杂的权衡。

可信度判别训练效果有限

那些能够改善模型可信度判别能力的干预措施，并没有稳定地带来更安全的行动。模型在“识别虚假信息”这项任务上表现更好，不等于它在实际调用工具时会更谨慎。

简单预警最有效，但并非没有代价

一个简单的预先警告（forewarning）在五款模型中的四款上显著减少了有害执行。然而，两种测试过的生成示例预驳斥（prebunk）方法在主评估中都没有超过这个简单预警的效果。

更微妙的问题在于：这些安全提升可能同时损害合法任务的完成率。模型变得更谨慎，也就更容易对正常请求犹豫不决。

预驳斥（Prebunking） 借鉴自虚假信息研究领域，指在接触虚假信息之前预先告知其存在及常见操纵手法，从而增强受众的免疫力。在 LLM 场景中，预驳斥通常以系统提示或上下文示例的形式注入，让模型“提前知道”可能遇到欺骗性输入。生成示例预驳斥则更进一步：先让模型生成虚假信息的典型样例，再将这些样例作为警示材料放入提示中。理论上，示例比抽象警告更具象，应更有效；但本研究发现，生成示例反而引入了额外的上下文负担和分布偏移，主评估中未能超越一句简单的预警。这提示：干预的复杂度与有效性并不成正比，简洁、直接的警示往往更具鲁棒性。

监督微调有保护作用，但依赖评估协议

在生成虚假通知上进行监督微调，可以在“先评分后行动”的协议下减少对留出存档攻击的有害执行。但这种保护存在两个限制：一是会带来模型相关的效用成本，二是在没有评分诱导的情况下保护效果会减弱。

评估协议（Evaluation Protocol） 指实验者设定的完整交互流程，包括是否要求模型先输出可信度评分、评分与行动是否分步、提示的措辞与顺序等。本研究的核心方法论警示在于：评分步骤本身就是一个干预变量。要求模型先打分，相当于强制它进行一次显式的内部表征提取，这会改变后续行动的概率分布——可能让模型更“言行一致”，也可能让它在评分后产生虚假的安全感而放松警惕。因此，任何在“先评分后行动”协议下测得的防御效果，都必须与“直接行动”协议下的结果对照，否则无法区分防御的真实效力与协议诱导的假象。

评估范式需要重构

这项研究的核心贡献在于指出一个被忽视的方法论问题：评估虚假信息防御时，不能只看模型“说了什么”，还要看它“做了什么”。

研究团队建议，防御措施的效果应当同时通过有害行动和合法任务完成两个维度来衡量，并且必须考虑评估协议本身对行为的影响。一个在评分环节看起来有效的防御，可能在移除评分后失效；一个减少了有害调用的干预，可能以牺牲正常功能为代价。

对于构建工具调用型LLM应用的开发者来说，这意味着安全评估不能停留在可信度判断的准确率上，而要直接测试模型在真实工具使用场景下的行为表现。