基准Natural Questions Open / NQ
NQ-Open
Google发布的开放域问答基准数据集，基于真实用户搜索查询构建，问题难度较高，常用于评估语言模型的事实检索与问答能力
时间轴 (近 90 天)
10月12日
在 NQ-Open 数据集上，答案选择器在阈值平均效用上优于过滤器，但表现差于「始终拒答」基线策略
待验证50%
10月12日
NQ-Open 来源于真实的 Google 搜索查询，问题更自然且歧义性更高，整体准确率普遍低于 TriviaQA
待验证50%
Google发布的开放域问答基准数据集，基于真实用户搜索查询构建，问题难度较高，常用于评估语言模型的事实检索与问答能力
在 NQ-Open 数据集上，答案选择器在阈值平均效用上优于过滤器，但表现差于「始终拒答」基线策略
NQ-Open 来源于真实的 Google 搜索查询，问题更自然且歧义性更高，整体准确率普遍低于 TriviaQA