基准Fact Extraction and VERification Over Unstructured and Structured information
FEVEROUS
专为复杂事实核查设计的基准数据集，要求系统同时处理维基百科中的非结构化文本与结构化表格数据，每条声明附有人工标注的最小证据组合，评分采用答案与证据双重门槛
时间轴 (近 90 天)
9月24日
FEVEROUS中的严格分数(strict score)定义为：既有正确答案、又在提交证据中包含完整标注证据组的声明所占的百分比
待验证50%
9月24日
FEVEROUS是一个复杂事实核查基准数据集，要求系统同时处理维基百科中的非结构化文本与结构化表格数据
待验证50%
9月24日
把DCUF证据替换成UnifEE证据后，严格分数提升了9.61个百分点，而对答案准确率的提升仅为1.96个百分点
待验证50%
9月24日
证据替换带来的严格分数增益的配对95%置信区间为[8.77, 10.43]
待验证50%
9月24日
把上下文从256 token扩展到2,048 token后，在FEVEROUS上固定答案条件下的证据增益分别提升了3.84(Qwen)和3.10(Llama)个百分点
待验证50%
9月24日
研究提出答案对/错与证据全/缺交叉形成四个象限的声明层面分析框架，能揭示聚合指标掩盖的变化
待验证50%
全部知识事实 (6)
待验证
FEVEROUS中的严格分数(strict score)定义为：既有正确答案、又在提交证据中包含完整标注证据组的声明所占的百分比
50%待验证FEVEROUS是一个复杂事实核查基准数据集，要求系统同时处理维基百科中的非结构化文本与结构化表格数据
50%待验证把DCUF证据替换成UnifEE证据后，严格分数提升了9.61个百分点，而对答案准确率的提升仅为1.96个百分点
50%待验证证据替换带来的严格分数增益的配对95%置信区间为[8.77, 10.43]
50%待验证把上下文从256 token扩展到2,048 token后，在FEVEROUS上固定答案条件下的证据增益分别提升了3.84(Qwen)和3.10(Llama)个百分点
50%待验证研究提出答案对/错与证据全/缺交叉形成四个象限的声明层面分析框架，能揭示聚合指标掩盖的变化
50%