概念DocXEval框架
DocXEval
首个针对多模态文档理解可解释性(XAI)的系统性评估框架,包含基准数据集、评估指标和元评估方法,用于评估解释方法的忠实性和可解释性。
时间轴 (近 90 天)
10月28日
DocXEval是首个针对多模态文档理解可解释性(XAI)的系统性评估框架。
待验证50%
10月28日
DocXEval用系统评估覆盖了13种XAI方法、3类文档理解任务、8个数据集、4个模型和17项评估指标。
待验证50%
10月28日
评估结果显示,只有少数方法能在所有评估标准下保持一致表现,其中Occlusion在忠实性和可解释性两个维度上综合表现最好。
待验证50%
10月28日
DocXEval的元评估发现,若干忠实性指标和复杂度指标之间存在中等至强的一致性,同时也识别出部分指标会产生不可靠结果。
待验证50%
10月28日
DocXEval的代码已在GitHub公开,地址为https://github.com/saifullah3396/docxeval/。
待验证50%
10月28日
DocXEval针对语义实体识别等任务引入了高效的多目标适配版本的解释方法和指标。
待验证50%
全部知识事实 (6)
待验证
DocXEval是首个针对多模态文档理解可解释性(XAI)的系统性评估框架。
50%待验证DocXEval用系统评估覆盖了13种XAI方法、3类文档理解任务、8个数据集、4个模型和17项评估指标。
50%待验证评估结果显示,只有少数方法能在所有评估标准下保持一致表现,其中Occlusion在忠实性和可解释性两个维度上综合表现最好。
50%待验证DocXEval的元评估发现,若干忠实性指标和复杂度指标之间存在中等至强的一致性,同时也识别出部分指标会产生不可靠结果。
50%待验证DocXEval针对语义实体识别等任务引入了高效的多目标适配版本的解释方法和指标。
50%待验证DocXEval的代码已在GitHub公开,地址为https://github.com/saifullah3396/docxeval/。
50%