LEAPS基准发布：长上下文模型召回满分，状态跟踪与模式学习却大幅滑坡

长上下文模型（LCLM）正在成为智能体的核心引擎——它们需要处理代码库的长期演进、运行研究实验、甚至基于冗长历史数据做出预测。这些场景对模型能力的要求远不止「从上下文中找到某个事实」这么简单。一篇新论文指出了一个被现有评测体系忽视的关键问题：模型在召回任务上表现近乎完美，但在状态跟踪和模式学习上却可能一塌糊涂。

三种长上下文能力，现有基准只测了第一种

论文将长上下文能力拆解为三类。召回（recall）：答案直接存在于上下文中，模型只需定位并提取。状态跟踪（state tracking）：需要对指定状态执行一系列变换后计算结果。模式学习（pattern learning）：从大量观测中推断出一个分布，再据此做出预测。

现有基准几乎全部聚焦于召回。这导致一个危险的错觉：模型在「大海捞针」类任务上得分接近100%，就被认为长上下文能力过关。但真实智能体工作流中，状态跟踪和模式学习才是更常见的认知负荷来源。

「大海捞针」（Needle in a Haystack）是评估长上下文召回能力的经典测试：在长文本中随机插入一个特定事实（“针”），要求模型在回答问题时将其检索出来。该测试的流行源于其易于构造和评分，但它的局限性也很明显——任务本质是模式匹配式的信息定位，不涉及对信息的动态操作或多步推理。因此，模型在该测试上接近满分，仅能说明其注意力机制能覆盖长距离位置，而不能证明其具备对长上下文进行结构化理解与操作的能力。LEAPS 的召回任务虽然也属于此类，但通过抗污染设计避免了记忆效应，使测量更纯粹。

LEAPS的构建思路：抗污染、百万级token、可靠指标

LEAPS包含12个全新数据集，覆盖智能体工作流、行为建模、市场与世界事件预测等场景。其设计有三个核心考量。

抗数据污染是首要问题。由于数据集是全新构建的，模型在预训练阶段不可能见过这些内容，避免了基准分数被记忆效应虚高的风险。其次，输入长度可扩展至数百万token，足以测试当前最长上下文窗口模型的极限。第三，采用可靠的评估指标，确保不同模型间的比较具有实际意义。

论文评估了30个API和开源模型，输入token范围从8K到512K。这个规模在同类研究中相当可观，覆盖了从轻量级开源模型到前沿闭源API的完整谱系。

核心发现：召回能力无法预测状态跟踪与模式学习

实验结果揭示了一个令人不安的规律。那些在召回任务上表现近乎完美的模型，在状态跟踪和模式学习上的能力可能出现显著分化，并且随着输入长度增加，退化幅度远比召回任务剧烈。

更反直觉的是模式学习上的表现。从理论角度看，观测越多，推断分布应该越容易——更多数据本应降低学习难度。但实测结果恰恰相反：输入越长，模型在模式学习上的表现反而越差。这说明当前LCLM在处理长序列中的统计规律时，存在某种系统性的能力瓶颈，而非简单的「信息找不到」问题。

状态跟踪任务要求模型在给定初始状态后，依次应用一系列变换（如更新、删除、合并）并输出最终状态。这类任务模拟了智能体在长期运行中维护内部世界模型的需求，例如代码库的版本演进或实验状态的持续更新。与召回不同，状态跟踪的失败往往不是“找不到信息”，而是“信息找对了但变换算错了”或“中间状态丢失”。随着序列增长，变换步骤增多，误差累积效应显著，导致性能急剧下降。这揭示了当前 LCLM 在长序列上维持和操作结构化状态的能力存在根本性短板。

思考模型的意外劣势

论文还报告了一个值得关注的发现：带有思考链（thinking）的模型，在LEAPS上的表现常常不如对应的基础模型。原因有两方面——思考模型可能耗尽生成长度预算，或者在面对复杂任务时过度简化问题。

这一发现对当前「推理模型全面优于基础模型」的叙事构成了修正。在长上下文场景下，额外的思考步骤未必带来增益，反而可能引入新的失败模式。

思考链（Chain-of-Thought, CoT）是一种 prompting 技术，要求模型在给出最终答案前生成中间推理步骤，旨在提升复杂推理任务的准确性。然而，在长上下文场景中，CoT 可能带来负面影响：其一，生成长度预算有限，过长的思考过程可能挤占最终答案的生成空间，导致答案被截断或草率收尾；其二，模型可能将长上下文中的复杂模式过度简化为局部启发式，反而丢失全局信息。LEAPS 的发现提示，CoT 的收益高度依赖任务类型，在需要长程状态维护或分布推断的任务上，其优势可能反转。

对长上下文模型开发的启示

LEAPS的价值在于它把长上下文能力从一个模糊的整体概念拆解为可独立测量的维度，并证明这些维度之间存在显著的能力断层。对于构建长上下文智能体的团队而言，这意味着选型时不能只看召回类基准的分数。

论文作者希望LEAPS能指导下一代LCLM的开发方向——从「能记住更多」转向「能在长序列上正确推理和泛化」。这需要架构层面的创新，而非单纯扩大上下文窗口。