当LLM说"很可能"：语言不确定性与人类的鸿沟

人类用词语表达不确定，大模型却在"自说自话"

人类在日常交流中习惯用语言标记来表达对某件事的把握程度——"可能"、"很可能"、"几乎确定"。这些词汇背后对应着大致的概率感知，是一种元认知（metacognition）能力的体现：我们知道自己"知道什么"，也知道自己"不知道什么"，并据此调整行为、寻求更多信息。

然而当下主流的大语言模型（LLM）不确定性量化（Uncertainty Quantification, UQ）方法，大多依赖代价高昂的似然值计算或多次采样一致性检验，而非直接从模型输出的语言表达中读取其置信度。arXiv 上一篇新论文（arXiv:2610.00083）正是针对这一空白展开研究：当 LLM 说"very likely"时，它脑中对应的概率究竟是多少？这个数字和人类理解的"很可能"是否一致？

论文来源截图

**元认知（Metacognition）**是心理学中描述"对自身思维过程的认知"的概念，由心理学家约翰·弗拉维尔（John Flavell）于1970年代系统提出。在不确定性表达领域，研究者早已发现人类对"可能""很可能""几乎确定"等词汇有相对稳定的概率映射共识——例如"很可能（very likely）"在多项跨文化研究中通常对应75%–90%的概率区间。这一发现被广泛应用于情报分析领域（如美国国家情报局的标准化用词指南）和医疗风险沟通中，目的正是减少语言歧义导致的决策失误。**不确定性量化（Uncertainty Quantification, UQ）**则是机器学习领域的核心课题，旨在让模型不仅给出预测，还能可靠地估计该预测的置信程度，是构建可信AI系统的基础能力之一。

核心发现：机器与人类的"置信度语义"系统性错位

研究团队从心理学与决策科学文献中整理出一套人类不确定性标记语料库，并以此为基准对 LLM 进行测评。结果显示，LLM 在使用这些语言标记时所对应的数值不确定性水平，与人类的理解存在显著偏差。

换句话说，模型嘴上说的"很可能"，和人类心中默认的"很可能"并不是同一个概率区间。这种错位并非随机噪声，而是系统性的置信度差异。对于越来越依赖自然语言与 AI 交互的场景而言，这是一个被长期忽视却影响深远的问题——用户可能会按照人类的语义习惯去解读模型的措辞，从而产生误判。

为什么语言标记比概率值更重要

从认知科学角度看，准确的语言不确定性表达反映的是元认知监控能力，即对自身知识边界的清醒认识。一个能恰当说出"我不太确定"的模型，比一个只会输出 0.73 概率的黑箱，更符合人类协作与决策的直觉需求。语言标记因此不只是"顺带输出"的修辞，而是潜在的可靠性信号——前提是我们能校准它。

METHODNAME：从输出中反推标记的真实含义

论文提出了一种基于优化的新算法（文中代号 METHODNAME），其思路颇具巧思：不再通过反复采样来估计不确定性，而是直接从 LLM 的输出中学习一套最优的"不确定性画像"（uncertainty profile）。

具体做法是，为每个语言标记拟合一个"标记—不确定性"映射，使其能够最好地解释模型实际答案的正确率。通过这种方式，算法可以反推出每个语言标记在模型内部应当承载多少概率质量。

这一方法的两点价值

其一，它绕开了多次采样的高昂计算成本，提供了一条更轻量的 UQ 路径。其二，它让人类与 LLM 之间可以进行标记级别的直接比较——把两者在置信度语义上的失配拆解开来，清晰揭示差异究竟出在哪些词、哪些概率区间上。这种可解释性对于后续的模型校准和人机对齐工作尤为关键。

传统LLM不确定性量化方法主要分为两类：一是**基于似然值（likelihood-based）的方法，直接读取模型输出token的对数概率，但这要求访问模型内部参数，对GPT-4等闭源模型不可行；二是集成采样（ensemble/sampling-based）**方法，如自洽性检验（Self-Consistency），通过对同一问题多次采样并统计答案分布来估计不确定性，准确性较高但推理成本成倍增加。本文提出的基于优化的方法属于第三条路径：将语言标记视为模型自发产生的"软置信度信号"，通过拟合标记与实际正确率之间的映射关系来校准其语义，无需多次采样也无需访问内部参数，在效率和适用范围上均有潜在优势。

对 AI 可靠性的启示

这项研究触及了一个容易被低估的安全议题：当我们越来越相信模型用自然语言表达的"自信"或"犹豫"时，这些表达是否真的可信？如果模型的"很可能"实际对应着远低于人类预期的正确率，用户就会在不知情的情况下承担额外风险。

把语言标记校准到与真实正确率匹配的水平，意味着未来的 AI 系统有可能用更接近人类直觉的方式表达不确定性，从而支持更安全的决策与信息寻求。这对于医疗、法律、金融等高风险领域的 AI 应用，具有直接的现实意义。

需要说明的是，论文中算法以 METHODNAME 作为占位代号，具体命名、实验规模与跨模型泛化能力仍有待正式版本进一步披露。作为一篇新发布的预印本，其结论更适合视为对该方向的探索性提示，而非定论。

语言不确定性校准失准在高风险领域已有实际案例值得警惕。研究显示，临床医生在使用AI辅助诊断工具时，往往会将模型输出的高置信度语言表述（如"最有可能是X"）当作比数值概率更可信的依据，即便两者传达的信息量完全相同。若模型的语言置信度与真实正确率系统性错位，这种"过度信任"效应会被显著放大。法律和金融领域同样存在类似问题：合规人员依赖AI摘要中的措辞判断风险等级时，语言标记的校准误差会直接转化为决策风险。这也是为何"语言不确定性对齐"正逐渐被视为AI安全研究的一个独立子方向，而非仅仅是模型输出质量的附属问题。