上下文退化基准测试：主流大模型的长文本短板

什么是上下文退化

大语言模型在处理长上下文时，性能往往并非稳定不变。随着输入内容不断累积——无论是对话历史、代码库还是长篇文档——模型对早期信息的检索与利用能力会逐渐下降，这种现象被称为「上下文退化」（Context Degradation）。

GitHub 上一个名为 context-degradation-benchmark 的开源项目（作者 kyleaoconnell22），尝试用可复现的方式量化这一问题。该项目以 Jupyter Notebook 为载体，对比了几款主流模型在长上下文场景下的表现，涉及的对比对象包括 Claude Opus、GPT 系列的 Codex 变体以及 GPT-4o。

对于依赖长上下文能力的实际应用——比如代码助手需要理解整个仓库、文档问答需要跨越数万 token 检索——上下文退化直接决定了产品的可用性上限。厂商宣传的「百万 token 上下文窗口」是一回事，模型在窗口末端还能否准确调用信息则是另一回事。这类基准测试的价值正在于揭示两者之间的差距。

基准测试关注什么

从项目命名和对比设计看，这类基准的核心目标是测量模型在上下文长度增加时的性能衰减曲线，而非单纯的「支持多长上下文」这一静态指标。

典型的上下文退化测试通常包含几种范式：一是「大海捞针」（Needle in a Haystack），即在长文本中埋入特定信息，检验模型能否在不同位置准确检索；二是多跳推理，要求模型综合上下文中分散的多处信息；三是随对话轮次增加，观察早期指令是否被逐渐遗忘或稀释。

将 Claude Opus、GPT-Codex 与 GPT-4o 放在同一测试框架下对比，能帮助开发者判断：在自己的具体场景中，哪款模型的长上下文表现更可靠。不同模型在注意力机制、位置编码和训练数据分布上的差异，往往会导致它们在长上下文的不同区间出现各自的强项与短板。

「大海捞针」测试由 Greg Kamradt 于 2023 年底提出并推广，做法是将一句与上下文无关的「目标句」随机插入不同位置的长文本中，然后询问模型该句的内容，从而绘制出「位置×上下文长度」的二维热力图，直观呈现模型在不同区域的检索成功率。位置编码（Position Encoding）是影响结果的关键因素之一：RoPE、ALiBi 等不同方案在超出训练长度后的外推能力差异显著，部分模型在接近上下文窗口末端时会出现位置编码失效，导致注意力权重紊乱。训练数据的长度分布同样重要——如果模型预训练语料中极少出现超过 32K token 的样本，即便通过位置编码扩展了窗口，模型在该区间的表现也往往不稳定。这正是为什么同样标称支持 128K 上下文的不同模型，在实际长文本任务中可能表现悬殊。

为什么这类开源基准值得关注

模型厂商发布的官方评测，天然存在有利于自家产品的选择性。第三方、可复现的开源基准恰好填补了这一空白。以 Notebook 形式发布的好处在于，任何人都可以克隆代码、替换模型、调整测试参数，在自己的数据上重新验证结论，而不必全盘接受作者的判断。

需要说明的是，该项目目前处于非常早期的阶段——Stars 和 Forks 均为 0，仍属个人探索性质。它更像是一个可供参考的测试脚手架，而非经过大规模社区验证的权威榜单。项目中提及的模型版本号（如 Opus 4.6、GPT-5.2-Codex）也需读者结合实际可用的模型自行核对。

对开发者的实践启示

无论具体数字如何，上下文退化本身是一个已被反复证实的共性问题。对于正在构建 RAG（检索增强生成）系统、代码智能体或长文档处理应用的团队，有几点务实建议：

不要盲目相信「超长上下文窗口」的营销话术，务必在自己的真实数据上做退化测试；对关键信息考虑放置在上下文的开头或结尾，避免埋没在中段（多数模型对中段信息的检索能力最弱，即所谓「中间迷失」现象）；在长对话或长文档场景中，主动做上下文压缩、摘要或分段检索，减轻模型的负担。

这类开源基准的意义，不在于给出一个终极排名，而在于提供一套可自行运行的方法论。当你面对具体的模型选型决策时，一份能在自己环境里跑通的测试脚本，比任何厂商的宣传图表都更有说服力。

「中间迷失」（Lost in the Middle）现象由斯坦福大学 Nelson Liu 等人于 2023 年发表的同名论文中系统验证：实验表明，当关键信息位于长上下文的中间位置时，模型的问答准确率相比置于开头或结尾显著下降，且上下文越长这一效应越明显。其根本原因在于 Transformer 注意力机制的「首尾偏置」——模型倾向于对序列起始和末尾的 token 分配更高的注意力权重，中段信息在反向传播中获得的梯度信号更稀疏，长期预训练后形成了结构性的检索盲区。RAG 系统在重排序（Reranking）阶段若忽视这一效应，即便召回了正确文档，拼接后的上下文顺序也可能导致最终答案质量下降。因此在 Prompt 工程层面，将最关键的约束或参考内容前置是目前成本最低的缓解手段。