文档越多AI越差？开源与付费大模型RAG能力实测

企业把一堆内部文档交给AI，然后提问："我有几天年假？""这笔采购谁来签字？"开发者把这套流程叫做RAG，但本质很简单——AI读你给的材料，再从中作答。一个长期存在的担忧是：文档给得越多，答案反而越差，正确的那页被淹没、过期副本被误选、或者AI干脆编一个出来。

一位研究者为Kaggle基准挑战赛搭建了一套测试，专门检验这个假设。结论出人意料：撑爆上下文的"文档堆"并不是真正的风险，真正拖垮小模型的是"跨文档推理"。

测试是怎么设计的

作者虚构了一家公司，生成了50份简短的内部文档：请假政策、差旅规定、供应商合同、产品说明等。因为公司是编造的，任何模型都不可能在训练中见过这些内容，避免了"背答案"的干扰。随后向每个模型提出90个问题，每题附带2到50份不等的文档，模型要完成两件事：给出答案，并指明答案出自哪份文档；如果堆里根本没有答案，就必须回复"未找到"。

测试中有四个变量在逐题变化：

• 文档堆大小：2、5、10、25或50份，用来验证"越多越差"是否成立。
• 正确文档的位置：顶部、中部或底部，检验AI是否会"跳读"中间部分。
• 问题类型：单步查找、两步推理、或根本无解。
• 干扰文档：无关的，或与正确文档高度相似的。

其中两个设计值得单独说明。一是过期副本：10份文档存在措辞相同但数字不同的旧版本，难题会把旧版和现行版本并排放进文档堆——这正是真实共享盘的样子。二是两步问题：每份文档结尾都有一句类似"关于本文件的未决问题，上报给批准Marrowby工作室年假政策的那个人"的指引，问题问的是"那个人是谁"。要答对，模型必须跳到第二份文档（年假政策），找到批准人的姓名。答案只藏在第二份文档里。

RAG（检索增强生成） 是目前企业部署AI问答系统最主流的技术路线。其核心逻辑是：不依赖模型训练时记住的知识，而是在每次提问时先从文档库里检索出相关段落，再将这些段落塞进提示词，让模型仅根据提供的材料作答。这样做的好处是企业数据不需要重新训练模型，更新文档就等于更新知识库。"中间迷失"（Lost in the Middle） 是RAG领域一项有影响力的早期研究结论，指当上下文窗口中的文档数量增多时，模型对位于中间位置的内容注意力显著下降，导致答案质量劣化。这一现象在2023年的论文中被系统记录，此后成为业界普遍担忧的基准假设。本次测试的出发点之一，就是在企业文档的实际规模下验证这个假设是否仍然成立。

参测的七个模型

作者挑选模型的逻辑贴近企业的真实选择：大而贵的旗舰，还是小而便宜的轻量款；是付费API，还是能自己部署的免费模型。

模型	定位
Claude Sonnet 5.5	Anthropic旗舰
Claude Haiku 4.5	Anthropic轻量款
GPT-5.5	OpenAI旗舰
GPT-5.4 mini	OpenAI轻量款
Gemini 3.8 Flash	Google快速模型
Gemma 4 (31B)	Google开源、可本地运行
gpt-oss-20b	OpenAI开源小模型、可本地运行

作者最在意的两组对比是：同一家公司的大模型与小模型谁更强，以及免费开源模型能否跟上付费模型。

核心发现

文档堆变大，答案并没有变差

这是整个测试的出发点，结论却是否定的。四个模型在50份文档下的正确率，与2份文档时完全一致，均为100%。gpt-oss-20b只在25份文档的那组掉到92%，但那只是12道题里错了一道。真正垫底的Claude Haiku 4.5和GPT-5.4 mini，在只有2份文档时就已经分别只有67%，说明拖累它们的根本不是文档数量。

正确文档放在顶部、中部还是底部，也没有产生差别——至少在这个规模下，"中间迷失"现象没有出现。

作者给出一个重要边界：这些文档都很短，每份不到一页，50份加起来约16500词、35页左右。他只能说在这个量级内堆大小无关紧要，无法推断文档量再放大十倍会怎样。

两步问题，才是小模型翻车的地方

按问题类型拆分后，画面彻底变了。单步问题几乎人人满分，但两步推理拉开了巨大差距：

模型	单步问题	两步问题
Claude Sonnet 5.5	30/30	30/30
Gemini 3.8 Flash	29/29	30/30
Gemma 4	30/30	30/30
gpt-oss-20b	30/30	29/30
Claude Haiku 4.5	30/30	6/30
GPT-5.4 mini	29/30	3/30

每个模型都能在50份文档里找到单个事实，但其中两个连"从一份文档跳到另一份"都做不到，哪怕文档堆里就只有这两份。

更关键的是它们错得方式不同。Claude Haiku 4.5倾向于直接"放弃"——在24个错误里有21个回答"未找到"，常常是它已经读到了指引那句话，却停在原地没有继续去查第二份文档。而GPT-5.4 mini则是"答了但没答完"：27个错误里有20个把指引原话当成答案照抄回来，另外7个干脆编了个真实存在的人名，还煞有介事地引用了一份真文档作为来源。

作者强调这两种失败并不等价：模型说"没找到"，你知道要自己核对；但它给出一个错误姓名并引用真实文档，你很可能就信了。后者才是企业场景里更危险的失败模式。

多跳推理（Multi-hop Reasoning） 在信息检索领域指回答一个问题需要跨越多个独立文档或知识片段，依次推断才能得出最终答案。与单步查找相比，多跳推理要求模型不仅能定位第一条线索，还必须将其作为新的查询条件继续检索，形成"推理链"。这对RAG系统来说是结构性挑战：传统的向量检索只擅长找到与问题语义相似的段落，而"文档A的末尾指向文档B"这类间接指引，往往在向量空间中与原始问题相距甚远，容易被检索步骤直接过滤掉，导致第二份关键文档根本未被送入上下文。本次测试绕过了检索环节，直接将所有候选文档喂给模型，因此揭示的是语言模型本身的推理能力瓶颈，而非检索算法的缺陷——这让结论对评估模型底层能力更具参考价值。

免费开源模型，赢了付费小模型

这是最让作者意外的一点。可本地运行的免费模型Gemma 4，60道有解问题全对，且每次都标对了来源；同为免费的gpt-oss-20b答对59道。而两个付费小模型，Claude Haiku 4.5只答对36道，GPT-5.4 mini只有32道。

模型	类型	有解问题答对数
Gemma 4	免费开源	60/60
gpt-oss-20b	免费开源	59/60
Claude Haiku 4.5	付费小模型	36/60
GPT-5.4 mini	付费小模型	32/60

gpt-oss-20b唯一的短板是来源标注——它通常答案对，但有时只列出所需两份文档中的一份，60题里完整列全来源的只有52次。

作者也给出了两点克制的解读：其一，付费小模型的失败可能部分源于"指令遵循"方式，Haiku偏保守、宁可说"未找到"也不猜，换一种问法分数可能大不相同；其二，"免费"不等于零成本，你不按次付费，但要自备硬件，Gemma 4这种体量需要一台相当强的机器。

没有一个模型胡编乱造

三分之一的问题在文档中根本没有答案。所有模型在所有文档规模下，对这些问题都回答了"未找到"。作者原本预期50份文档的高压下至少会冒出几个凭空捏造的答案，结果一个都没有。过期副本的陷阱也几乎没人中招——整个测试里只有一次用到了旧版本的数字。

模型凭空生成听似合理但实际不存在的内容，在AI领域被称为幻觉（Hallucination）。在RAG场景中，幻觉通常有两种表现：一是模型在文档堆里找不到答案时，仍然编造一个符合问题语气的回复；二是将多份文档的细节混合拼接，生成一个在任何单一来源中都不存在的"合成事实"。前者可通过要求模型输出"未找到"来抑制，但后者更难检测。令人意外的是，本测试中所有模型在无解问题上均如实报告"未找到"，这与部分公众印象中AI"爱瞎编"的预设相悖。一个合理解释是，近两年主流模型在指令遵循方面的强化训练使其在格式化任务中更为保守；另一个解释是，文档本身的措辞足够清晰，模型有充分的语境信号判断"答案不在此处"。

这些结果说不了什么

作者对测试局限相当坦诚。GPT-5.5因为用量额度耗尽，90题里有35题没跑完（包括全部50份文档的题目），它答过的55题全对，Kaggle把未答部分算错，所以其官方分数看起来偏低。此外每个模型只跑了一次，没有重复验证分数在不同运行间的波动；分组样本小，差一两道题没有意义，但两步问题30/30对3/30这样的鸿沟是实打实的。最后，文档是虚构的，比真实公司的文件要"整洁"得多，七个模型里有五个接近满分，说明这套测试对区分头部模型来说太简单了。

作者列出了接下来想做的方向：把文档堆做到远超50份、文档本身更长，找出分数真正下滑的临界点；加入三步、四步推理，看看能否把头部模型之间拉开差距；给GPT-5.5足够额度重跑；以及每个模型多跑几次。

对落地RAG的实际启示

抛开实验室的局限，这次测试给出的现实教训很清晰：在当前量级下，给AI更多文档并不是风险所在。真正的风险，是拿一个跨越两份文档才能回答的问题，去问一个小模型。

对正在选型的团队来说，这意味着两点。其一，如果你的业务问题大多是"单点查找"，廉价或开源的小模型完全够用，甚至开源模型在准确率上还可能反超付费轻量款。其二，一旦你的问题涉及"文档A指向文档B"这类多跳推理，就必须谨慎评估小模型，尤其警惕那种"自信地给出错误答案并引用真实来源"的失败模式——它比老实说"没找到"的危害大得多。