TriviaQA
一个大规模阅读理解和问答基准数据集,包含从维基百科等来源收集的大量知识型问答对,广泛用于评估语言模型的知识问答能力
时间轴 (近 90 天)
通过克隆 https://github.com/s2labres/U-Space,运行 ./run_smoke.sh 可跑通 Qwen3.5-4B 在 10 条 TriviaQA 问题上的端到端流程(单 GPU)。
在 TriviaQA 数据集上,学习得到的答案选择器将平均覆盖率从 20.2% 提升到 30.9%
在 TriviaQA 上,被打分答案的错误率(精确匹配评分标准下)从 23.0% 下降到 14.5%
TriviaQA 上的发现经过了部分由人工审核的审计验证,排除了评分标准造成的假象
NQ-Open 来源于真实的 Google 搜索查询,问题更自然且歧义性更高,整体准确率普遍低于 TriviaQA
研究方法从TriviaQA中挑选模型本已答对的问题,附加错误答案,并以「可信来源版」和「用户专家版」两种方式呈现,唯一变量是说话人身份
全部知识事实 (6)
通过克隆 https://github.com/s2labres/U-Space,运行 ./run_smoke.sh 可跑通 Qwen3.5-4B 在 10 条 TriviaQA 问题上的端到端流程(单 GPU)。
50%待验证在 TriviaQA 数据集上,学习得到的答案选择器将平均覆盖率从 20.2% 提升到 30.9%
50%待验证在 TriviaQA 上,被打分答案的错误率(精确匹配评分标准下)从 23.0% 下降到 14.5%
50%待验证TriviaQA 上的发现经过了部分由人工审核的审计验证,排除了评分标准造成的假象
50%待验证NQ-Open 来源于真实的 Google 搜索查询,问题更自然且歧义性更高,整体准确率普遍低于 TriviaQA
50%待验证研究方法从TriviaQA中挑选模型本已答对的问题,附加错误答案,并以「可信来源版」和「用户专家版」两种方式呈现,唯一变量是说话人身份
50%