AI幻觉险酿军事误判：大语言模型进入国防决策的风险警示

一次险些失控的AI误判

一则来自国防技术领域的报道揭示了一个令人警醒的场景：AI幻觉（hallucination）差点触发一次美国军事行动。据报道，一位来自治理AI研究机构（GovAI）的研究学者对此发出警告：“服务人员必须理解大语言模型（LLM）所固有的不确定性。”

这句话看似简短，却直指当前AI技术在高风险场景应用中的核心矛盾——大语言模型天然会“编造”看似合理但实际错误的信息，而当这类系统被引入军事、情报或指挥决策环节时，一次幻觉可能带来的后果远超一般商业应用。

什么是大语言模型的“幻觉”

所谓幻觉，指的是大语言模型在生成内容时输出与事实不符、甚至完全虚构的信息，但表述上却极具说服力。这并非偶发的bug，而是当前生成式AI架构的内在特性：模型基于概率预测下一个词，而非基于对事实的真实理解或核查。

在日常对话或写作辅助场景中，幻觉带来的代价通常有限——用户可以核实、纠正。但在军事指挥链中，情报判断往往需要在极短时间内做出，且高度依赖信息可信度。如果决策者将AI输出误认为可靠情报，一次幻觉就可能被误读为真实威胁，进而触发实际的军事响应。报道中“险些触发军事行动”正是这一风险链条的现实缩影。

研究者的核心警告：理解不确定性

GovAI研究学者强调“理解LLM固有的不确定性”，这一表述值得反复咀嚼。它传递的关键信息并非“不要使用AI”，而是使用者必须建立对AI能力边界的清醒认知。

大语言模型不具备可靠的置信度自评能力——它在给出错误答案时，往往表现得和给出正确答案时同样“自信”。这种“无差别的确定性表达”对缺乏技术背景的一线人员极具误导性。在军事语境下，这意味着服务人员需要接受专门训练，学会将AI输出视为需要交叉验证的参考，而非可直接执行的结论。

高风险领域引入AI的治理难题

这起事件折射出更宏观的治理挑战。当AI从消费级、辅助性工具走向国防、安全等关键决策场景，传统的“容错试错”模式不再适用。

几个值得关注的治理维度包括：

人机责任边界

当AI参与情报分析或态势判断，最终决策权和责任归属必须清晰界定。AI应处于“辅助”而非“替代”人类判断的位置，尤其涉及使用武力的决策，人类的实质性控制（meaningful human control）不可让渡。

输出可验证性

军用AI系统需要具备可追溯、可解释的输出机制，让使用者能够判断信息来源与可信度，而非黑箱式地给出结论。

人员培训与认知建设

正如研究者所强调，一线人员对AI局限性的理解，是防止误判的第一道防线。技术再先进，若使用者盲目信任，风险依然存在。

对AI落地的普遍启示

尽管这一事件发生在军事领域，但它对所有高风险AI应用都具警示意义。无论是医疗诊断、金融风控还是自动驾驶，大语言模型的幻觉问题都是绕不开的挑战。

技术层面，业界正通过检索增强生成（RAG）、事实核查模块、多模型交叉验证等手段降低幻觉率，但目前没有任何方法能将其完全消除。这意味着在可预见的时间内，“人在环路”（human-in-the-loop）仍是高风险场景不可或缺的安全机制。

这次险情提醒我们：AI能力的飞速提升，与其在关键领域的成熟应用之间，仍存在一道需要用制度、训练和技术共同填补的鸿沟。真正的进步，不仅在于让模型更强，更在于让使用它的人更清醒。

检索增强生成（RAG，Retrieval-Augmented Generation）是目前缓解幻觉最主流的工程方案之一：它在模型生成回答前，先从外部知识库中检索相关文档，再将检索结果作为上下文输入模型，从而将"凭记忆作答"转变为"带资料作答"。这一方法可显著降低知识截止日期带来的信息过时风险，并在一定程度上提升输出的可追溯性。然而RAG并非万能——检索系统本身可能召回错误或不相关文档，模型仍可能忽视检索结果而坚持"自身记忆"，且在文档本身存在错误或互相矛盾时，RAG反而可能放大问题。"人在环路"（Human-in-the-Loop）则是一种系统设计原则，要求在AI输出影响实际决策之前，必须有人类对结果进行审核、确认或否决。这一机制的实质是将AI定位为"草稿生成者"而非"决策者"，人类保留最终判断权，从制度层面为幻觉风险兜底。

背景补充

从技术机制来看，幻觉的根源在于大语言模型的训练目标：模型被优化为在给定上下文中预测最可能出现的下一个词元（token），而非"检索正确事实"。训练数据中的偏差、知识截止日期之后的信息缺口、以及模型对罕见或边缘话题的泛化能力不足，都会加剧幻觉的发生频率。尤其值得注意的是，模型规模越大、语言表达越流畅，幻觉内容往往也越难被识别——措辞专业、逻辑连贯的错误信息远比明显的语法混乱更具欺骗性。研究界将幻觉大致分为两类：一是"内在幻觉"（Intrinsic Hallucination），即输出内容与输入提示或已知事实直接矛盾；二是"外在幻觉"（Extrinsic Hallucination），即输出内容无法被已有信息源证实或证伪，属于无中生有。军事场景中两类幻觉均可能致命——前者会误读既有情报，后者则可能凭空"制造"威胁。