[控场AI]
基准

TriviaQA

一个大规模阅读理解和问答基准数据集,包含从维基百科等来源收集的大量知识型问答对,广泛用于评估语言模型的知识问答能力

时间轴 (近 90 天)

10月12日

通过克隆 https://github.com/s2labres/U-Space,运行 ./run_smoke.sh 可跑通 Qwen3.5-4B 在 10 条 TriviaQA 问题上的端到端流程(单 GPU)。

待验证50%
10月12日

在 TriviaQA 数据集上,学习得到的答案选择器将平均覆盖率从 20.2% 提升到 30.9%

待验证50%
10月12日

在 TriviaQA 上,被打分答案的错误率(精确匹配评分标准下)从 23.0% 下降到 14.5%

待验证50%
10月12日

TriviaQA 上的发现经过了部分由人工审核的审计验证,排除了评分标准造成的假象

待验证50%
10月12日

NQ-Open 来源于真实的 Google 搜索查询,问题更自然且歧义性更高,整体准确率普遍低于 TriviaQA

待验证50%
10月1日

研究方法从TriviaQA中挑选模型本已答对的问题,附加错误答案,并以「可信来源版」和「用户专家版」两种方式呈现,唯一变量是说话人身份

待验证50%

全部知识事实 (6)

来源文章