大海捞针
评估长上下文模型信息检索能力的经典基准，通过在长文本中插入关键信息并提问来检验模型能否准确定位和利用该信息，可绘制准确率随位置变化的曲线
时间轴 (近 90 天)
「大海捞针」测试仅能说明模型注意力机制覆盖长距离位置，不能证明其具备对长上下文的结构化理解与操作能力。
「上下文腐烂」（context rot）指许多模型虽标称1M窗口，但在序列中段或极长输入下召回率明显下降的现象。
标称支持1M上下文并不等于在1M长度下仍能保持同等推理质量，业界常用'大海捞针'测试来检验模型在超长上下文中的信息检索与推理能力。
在128K Token上下文、约1.6万个键值对的大海捞针实验中，仅改变一个键值对的位置，DeepSeek-V4-Flash-Base准确率最大差距达40.2%，DeepSeek-V4-Pro-Base为34.8%，经后训练优化后仍分别为19.1%和14.8%。
部分模型在超过32K token后大海捞针准确率出现明显下滑，另一些则在更长范围内保持稳定
大海捞针（Needle in a Haystack）测试方法由Greg Kamradt于2023年首次提出
全部知识事实 (6)
「大海捞针」测试仅能说明模型注意力机制覆盖长距离位置，不能证明其具备对长上下文的结构化理解与操作能力。
50%待验证「上下文腐烂」（context rot）指许多模型虽标称1M窗口，但在序列中段或极长输入下召回率明显下降的现象。
50%待验证标称支持1M上下文并不等于在1M长度下仍能保持同等推理质量，业界常用'大海捞针'测试来检验模型在超长上下文中的信息检索与推理能力。
50%待验证在128K Token上下文、约1.6万个键值对的大海捞针实验中，仅改变一个键值对的位置，DeepSeek-V4-Flash-Base准确率最大差距达40.2%，DeepSeek-V4-Pro-Base为34.8%，经后训练优化后仍分别为19.1%和14.8%。
50%待验证部分模型在超过32K token后大海捞针准确率出现明显下滑，另一些则在更长范围内保持稳定
50%待验证大海捞针（Needle in a Haystack）测试方法由Greg Kamradt于2023年首次提出
50%