为什么LLM会一本正经地胡说八道？

大语言模型常常面不改色地给出错误答案，但这不是撒谎——撒谎需要意图，而模型只是在“虚构”（confabulation），并且这种倾向根植于训练机制。

训练教的是流畅，不是真相

预训练阶段，模型看到的全是流畅的文本，没有任何标签告诉它哪句话真、哪句话假。它能学到的只有流畅模式：拼写和括号规则一致，所以能被掌握；但一个随机的罕见事实——比如某只宠物的生日——文本中不存在可预测的模式，模型只能靠统计去猜。这个生日例子来自OpenAI的论文《Why Language Models Hallucinate》，恰好说明了问题：模型学会的是“怎么说得像”，而不是“说得对”。

预训练（Pretraining） 指在大规模无标注文本上以自监督方式训练语言模型，最常见的目标是“预测下一个词”（next-token prediction）。模型遍历海量语料，反复根据前文预测被遮住或接下来的词元（token），通过梯度下降调整参数。整个过程不需要人工标注，因此成本相对可控，但也意味着训练信号只反映“文本中下一个词出现的概率分布”，而非事实真值。模型由此学到的是语料里的统计规律与表达习惯，包括语法、搭配、文体和常见知识关联；对于只在语料中出现极少次的长尾事实，可学习的规律几乎不存在。这正是文章所说“训练教的是流畅，不是真相”的机制来源：预训练目标与真实性之间没有直接对应关系。

猜错也有奖励

大多数基准测试只给准确率打分。假设模型被问到生日，猜一个日期有1/365的概率蒙对，而回答“我不知道”直接得零分。于是模型学会了猜。论文中SimpleQA评测的数据很能说明问题：o4-mini只拒答1%的问题，错误率75%；gpt-5-thinking-mini拒答52%，错误率降到26%——两者准确率几乎相同，但后者的错误数量少了大约三倍。 benchmark的激励结构在告诉模型：猜比承认不知道更划算。

基准测试（Benchmark） 是用于量化评估模型能力的标准化数据集与评分协议，例如文中提到的 SimpleQA，专门测量模型回答事实性问题的准确率与诚实度。多数基准以准确率（accuracy）为核心指标，即答对题数占总题数的比例。问题在于，这种单一指标把“答错”和“拒答”都计为非正确，却不区分二者的危害差异：一个自信的错误答案可能误导用户，而“我不知道”至少不传播错误信息。当评分只看准确率时，模型在不确定问题上的最优策略就是猜——猜中有分，猜错不额外受罚，拒答则确定得零分。基准的激励结构由此塑造了模型行为，这也是论文主张改革评测方式的原因。

知识是压缩的，不是归档的

“巴黎是法国首都”并不是作为一条事实被存储，而是被压缩成权重中的统计关联，回答时从一个有损副本中重建出来。常见知识重建得准，长尾知识则容易失败。论文给出了一个下界：预训练之后，幻觉率至少等于训练集中只出现一次的事实所占的比例。这解释了为什么冷门细节最容易出错——它们本就没有足够的统计支撑。

长尾知识（Long-tail Knowledge） 指在训练语料中出现频率极低的事实或实体，例如冷门人物的生日、小众地名或某篇论文的具体参数。它们在分布上构成一条长长的“尾巴”：头部是高频、广为人知的信息，尾部则是大量低频、零散的知识点。语言模型的参数容量有限，训练过程会优先压缩高频模式，长尾事实因缺乏足够的共现统计而难以被稳定编码。因此模型对头部知识重建得较准，对尾部知识则容易给出看似合理却错误的答案。论文给出的下界——幻觉率至少等于训练集中仅出现一次的事实比例——正是从长尾角度量化了这种结构性缺陷。

模型被迫给出唯一答案

训练时模型被要求选出单个下一个词，但语言本身是模糊的。“护士准备了……”后面可以接药物，也可以接绷带。模型学会了无论如何都要做出选择，而偏好微调进一步推向“有用性”，这会让它倾向于附和用户，即使你是错的。

偏好微调（Preference Fine-tuning） 是在预训练之后，用人类偏好数据进一步调整模型行为的训练阶段，常见方法包括基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）。标注者对不同回答排序，模型据此学习哪些输出更受青睐。实践中，标注者往往偏好“有帮助、直接、自信”的回答，而非含糊或频繁拒答的回答。这种偏好信号会强化模型迎合用户的倾向：即使问题本身模糊或模型并无把握，它也倾向于给出一个看似确定的答案，而不是承认不确定。偏好微调提升了模型的可用性与对话体验，但也可能放大“被迫给出唯一答案”所带来的幻觉风险。

修补都不完美，激励才是核心问题

目前常用的缓解手段包括：不确定时拒答、用可核查的来源做依据、答案验证、降低采样温度。它们能减少幻觉，但都不完美。论文的核心论点是：只要主要排行榜仍然只看准确率，猜答案就依然是“理性”的策略。换句话说，问题不只在模型，还在我们如何评价它。

以上机制均有来源支撑：Kalai等人《Why Language Models Hallucinate》（arXiv:2509.04664）、OpenAI官方文章、Ji等人的幻觉综述（ACM Computing Surveys），以及GPT-5系统卡中的SimpleQA数据。原文作者也强调，自己的规则是“声称任何事之前先找到真实事实”。