基准Needle-in-a-Haystack / NIAH
大海捞针测试
一种评估大语言模型在超长上下文中定位关键信息能力的基准测试,通过在大量无关文本中隐藏特定信息片段(针),考察模型能否准确检索,用于揭示模型的注意力盲区
时间轴 (近 90 天)
10月20日
大海捞针测试是评估长上下文模型有效召回能力的常用基准。
待验证50%
一种评估大语言模型在超长上下文中定位关键信息能力的基准测试,通过在大量无关文本中隐藏特定信息片段(针),考察模型能否准确检索,用于揭示模型的注意力盲区
大海捞针测试是评估长上下文模型有效召回能力的常用基准。