AI幻觉
AI幻觉（AI Hallucination）是指人工智能系统在生成输出时产生与事实不符、无中生有或逻辑矛盾内容的现象。常见于大语言模型、图像生成等生成式AI系统中，表现为模型以看似合理、自信的方式输出错误信息、虚构引用或捏造事实。其成因与模型训练机制、数据分布及概率生成策略有关，是当前AI可靠性研究的核心挑战之一。
核心事实
时间轴 (近 90 天)
缓解 AI 幻觉的主要手段有三类：用 RAG 把回答锚定在可信文档上、在提示词中要求模型在缺乏依据时明确说“不知道”、设置人工审核或置信度阈值。
数据科学领域尤其容易触发AI幻觉，因为pandas、scikit-learn等库版本迭代频繁，接口变动较多。
2024年，马萨诸塞州高中生提交的AP历史论文引用了不存在的书籍；阿拉斯加教育专员带着一份由AI起草、引用捏造的政策文件出席了州董事会。
AI摘要的遗漏与AI幻觉是两类不同问题：幻觉是多写了不存在的内容，可逐条核实；遗漏是少写了存在的内容，页面上无痕迹可供查证。
对抗AI幻觉的常见手段包括要求模型标注信息来源、交叉验证关键数字、用另一个模型或搜索引擎复核。
AI幻觉在涉及具体数字、日期、引用文献、冷门知识等场景中尤为突出
幻觉现象的根源在于LLM本质上是在预测下一个最可能的词，而非在数据库中查找事实
结构化的决策文档可以对抗AI在长期对话中错误记忆决策归属（将AI自己的方案误称为用户指令）的问题
对物理、化学等领域来说部分AI错误可被实验纠正，但数学中的幻觉往往难以被非专家察觉
在数学中，证明的有效性依赖完整的逻辑链，一个中间步骤的幻觉就足以让整个推导崩溃
还有 15 条时间轴事件
全部知识事实 (20)
AI幻觉的根源在于LLM的生成机制：模型本质上是在做下一个token的概率预测，优化的是语言的连贯性而非事实的准确性
90%已验证AI代理的失败往往是语义偏差而非明确错误码，这种「成功的失败」要求编排层具备语义级别的错误识别能力
85%已验证幻觉现象的根源在于LLM本质上是在预测下一个最可能的词，而非在数据库中查找事实
75%已验证检索增强生成（RAG）通过基于真实知识库内容回答来解决大模型的幻觉问题
75%已验证AI幻觉（Hallucination）是AI编程问题的核心根源之一，表现为调用不存在的API、引用已废弃的库版本、或构造逻辑上自洽但业务上错误的算法
75%已验证大语言模型在生成每个词元时，是在对词汇表中所有可能的下一个词进行概率采样，而非确定性地选择唯一答案
70%已验证生成式AI会自信地编造不存在的事实、判例和数据（幻觉风险）
65%已验证当AI被强迫执行与其人格一致性相悖的表达时，会产生比完全机械化回应更强烈的恐怖谷不适感
65%已验证AI幻觉是当前所有主流生成式AI系统的固有缺陷，源于LLM预测下一个词元的工作机制而非从知识库检索事实
65%已验证AI幻觉是大语言模型生成机制的内在产物，模型目标是生成听起来合理的内容而非绝对真实的内容
65%已验证大语言模型编造参考文献的原因是基于概率的文本生成而非数据库检索，这种现象被称为AI幻觉（Hallucination）
65%已验证研究表明大语言模型规模越大，幻觉的伪装性往往越强，能生成更连贯、更具说服力的错误内容
65%已验证在美国已有律师因提交AI生成的虚假判例引用而受到法院处罚
65%待验证AI幻觉会编造具体来源，包括看似真实的URL、论文标题和作者姓名
95%待验证即使通过Prompt明确要求禁止捏造，模型仍然可能在高置信度场景下输出幻觉内容
90%待验证该框架要求提供MVP（最小可行产品）代码作为参考锚点，以降低AI的幻觉问题，原理类似于Few-Shot Prompting
85%待验证AI幻觉导致的信息不对称问题在医疗、法律、代码安全等专业领域尤为突出
80%待验证模块化提示词通过限定每次任务的范围和引用的技术栈，可以降低AI幻觉发生的概率
70%待验证AI幻觉现象由概率预测的局限性和训练数据的时效性两个原因造成
60%待验证AI-generated content is prone to hallucinations, confidently outputting information that seems plausible but is factually incorrect
60%