BenchmarkFact Extraction and VERification Over Unstructured and Structured information
FEVEROUS
专为复杂事实核查设计的基准数据集，要求系统同时处理维基百科中的非结构化文本与结构化表格数据，每条声明附有人工标注的最小证据组合，评分采用答案与证据双重门槛
Timeline (last 90 days)
Sep 24
FEVEROUS中的严格分数(strict score)定义为：既有正确答案、又在提交证据中包含完整标注证据组的声明所占的百分比
Unverified50%
Sep 24
FEVEROUS是一个复杂事实核查基准数据集，要求系统同时处理维基百科中的非结构化文本与结构化表格数据
Unverified50%
Sep 24
把DCUF证据替换成UnifEE证据后，严格分数提升了9.61个百分点，而对答案准确率的提升仅为1.96个百分点
Unverified50%
Sep 24
证据替换带来的严格分数增益的配对95%置信区间为[8.77, 10.43]
Unverified50%
Sep 24
把上下文从256 token扩展到2,048 token后，在FEVEROUS上固定答案条件下的证据增益分别提升了3.84(Qwen)和3.10(Llama)个百分点
Unverified50%
Sep 24
研究提出答案对/错与证据全/缺交叉形成四个象限的声明层面分析框架，能揭示聚合指标掩盖的变化
Unverified50%
All Facts (6)
Unverified
FEVEROUS中的严格分数(strict score)定义为：既有正确答案、又在提交证据中包含完整标注证据组的声明所占的百分比
50%UnverifiedFEVEROUS是一个复杂事实核查基准数据集，要求系统同时处理维基百科中的非结构化文本与结构化表格数据
50%Unverified把DCUF证据替换成UnifEE证据后，严格分数提升了9.61个百分点，而对答案准确率的提升仅为1.96个百分点
50%Unverified证据替换带来的严格分数增益的配对95%置信区间为[8.77, 10.43]
50%Unverified把上下文从256 token扩展到2,048 token后，在FEVEROUS上固定答案条件下的证据增益分别提升了3.84(Qwen)和3.10(Llama)个百分点
50%Unverified研究提出答案对/错与证据全/缺交叉形成四个象限的声明层面分析框架，能揭示聚合指标掩盖的变化
50%