基准
LEAPS
长上下文模型评测基准，将长上下文能力拆解为召回、状态跟踪和模式学习三个维度，包含12个抗污染数据集，支持百万级token输入。
时间轴 (近 90 天)
10月20日
LEAPS是一个包含12个全新数据集的长上下文评测基准，覆盖智能体工作流、行为建模、市场与世界事件预测等场景。
待验证50%
10月20日
30 个 API 和开源模型在 LEAPS 上接受了评估，输入 token 范围从 8K 到 512K。
待验证50%
10月20日
在 LEAPS 上，召回任务表现近乎完美的模型，在状态跟踪和模式学习上可能出现显著分化，且随输入长度增加退化更剧烈。
待验证50%
10月20日
在 LEAPS 的模式学习任务上，输入越长，模型表现反而越差。
待验证50%
10月20日
思考模型在 LEAPS 上表现不如基础模型的原因包括：耗尽生成长度预算，或在复杂任务上过度简化问题。
待验证50%
10月20日
LEAPS 采用抗数据污染设计，数据集全新构建，避免模型因预训练记忆而虚高分数。
待验证50%
10月20日
论文作者希望 LEAPS 能指导下一代 LCLM 的开发方向，从「能记住更多」转向「能在长序列上正确推理和泛化」。
待验证50%
全部知识事实 (7)
待验证
LEAPS是一个包含12个全新数据集的长上下文评测基准，覆盖智能体工作流、行为建模、市场与世界事件预测等场景。
50%待验证30 个 API 和开源模型在 LEAPS 上接受了评估，输入 token 范围从 8K 到 512K。
50%待验证在 LEAPS 上，召回任务表现近乎完美的模型，在状态跟踪和模式学习上可能出现显著分化，且随输入长度增加退化更剧烈。
50%待验证在 LEAPS 的模式学习任务上，输入越长，模型表现反而越差。
50%待验证思考模型在 LEAPS 上表现不如基础模型的原因包括：耗尽生成长度预算，或在复杂任务上过度简化问题。
50%待验证LEAPS 采用抗数据污染设计，数据集全新构建，避免模型因预训练记忆而虚高分数。
50%待验证论文作者希望 LEAPS 能指导下一代 LCLM 的开发方向，从「能记住更多」转向「能在长序列上正确推理和泛化」。
50%