检索工具输出代价：LLM智能体精度损失新发现

LLM智能体能够计算正确答案，却仍可能回答错误。这并非假设，而是近期一项研究揭示的普遍现象。随着智能体框架越来越多地将长工具输出移出上下文窗口，转而保存为文件供按需检索，一个关键问题浮现：这种检索机制在何处导致精度损失？

为了回答这一问题，研究者选用真实科学工具PHREEQC——美国地质调查局广泛使用的地球化学模拟器，其报告长度可达846,800字符，且确定性保证每个打印值可追溯。智能体使用该工具回答158个执行验证的多选题，从而精确测量检索对精度的影响。

检索导致GPT模型精度下降，Claude模型无显著损失

实验结果显示，当智能体通过章节索引而非上下文读取模拟器报告时，GPT-5.1和GPT-5.2的准确率分别下降11.3和7.9个百分点，而Claude Opus 4.6和Claude Sonnet 4.6则未检测到明显代价。这一对比表明，检索机制的影响因模型而异。

重新运行全部11,007次记录的模拟器调用后发现，两个GPT模型计算关键值的频率与之前大致相同；变化在于它们回答所依据的证据。在检索条件下，它们经常跳过报告，转而依据自身更高精度的输出文件作答，并错误舍入到相邻选项。研究者将这一失败模式称为“证据替换”。

上下文窗口与外部检索：LLM的上下文窗口指模型在单次推理中能直接“看到”的token总量，容量有限且成本随长度增长。当工具输出（如PHREEQC报告）长达数十万字符时，智能体框架通常不会将其全部塞入上下文，而是保存为文件或向量库，再由模型生成检索查询（如按章节标题索引）按需取回片段。这种“移出上下文、按需检索”的做法能节省token并支持超长输出，但也引入一个风险：模型可能检索到不完整、不精确或非权威的片段，甚至完全跳过检索而依赖自身中间产物。该机制正是本研究中精度损失的实验变量。

证据替换：精度损失的根源

证据替换解释了为何计算正确却回答错误。智能体本应查阅模拟器报告，却依赖了自身生成的输出文件，而这些文件可能包含细微的舍入差异，导致最终答案偏离正确选项。在模拟固定的情况下，检索仍使GPT-5.2损失9.4个百分点。

对于GPT-5.4，更频繁的正确模拟掩盖了约十点的证据使用损失，使得净变化与零无异。这说明，仅看最终准确率可能掩盖检索带来的真实代价。

确定性模拟器与可追溯输出：PHREEQC是水化学平衡与反应路径模拟器，其计算基于给定的热力学数据库和输入条件，相同输入必然产生相同输出，因此被称为“确定性”。这种确定性使研究者能够精确知道每个打印值对应的正确选项，从而将回答错误归因于证据使用而非模拟本身。相比依赖随机采样或近似求解的工具，确定性模拟器提供了可复现的基准真值，使得“计算正确却回答错误”能够被干净地分离出来，成为衡量检索机制影响的理想实验平台。

命名权威输出可提升精度

研究者发现，为权威输出命名可使三个GPT模型在普通检索基础上提升6.3至7.9个百分点。对于GPT-5.1和GPT-5.2，将适合的输出内联同样有效，而要求正确舍入则无济于事。这提示智能体框架的设计应关注精度在何处损失，而非仅关注最终准确率。

证据替换的认知类比：证据替换可类比为人类在核对账目时，不查看银行出具的正式对账单，而是凭自己草稿纸上的中间计算结果下结论。草稿可能只差几分钱，但四舍五入到选项级别就会选错。在智能体流程中，模型生成的输出文件（如自行整理的中间结果）往往带有浮点舍入或格式转换误差，而权威报告保留了工具原始的全精度打印值。命名权威输出相当于在提示中明确告诉模型“以对账单为准”，从而抑制其走捷径的倾向；内联关键结果则进一步消除了检索环节，让正确证据直接出现在上下文中。

对智能体框架设计的启示

上下文管理策略的选择应以精度损失的位置为评判标准，而不仅仅是最终准确率。证据替换现象表明，智能体可能绕过权威数据源，依赖自身输出，导致细微但影响显著的错误。未来框架设计需更精细地引导智能体使用正确证据，例如通过命名权威输出或内联关键结果。

这项研究通过确定性模拟器与可追溯输出，为评估检索机制提供了严谨方法。随着智能体在科学计算等高风险领域的应用增多，确保其证据使用正确至关重要。

多源交叉验证

据B站UP主和YouTube频道的分析，该研究结果与社区观察一致：检索机制在不同模型上表现差异显著，而证据替换是导致精度下降的关键因素。多方讨论均强调，智能体框架需关注证据来源的权威性。