[控场AI]
基准

SRBench

专为系统综述文献筛选任务设计的基准框架,包含45,064条标注条目,覆盖32项二次研究,针对类别不平衡问题设计评估指标,用于评估LLM在文献筛选中的真实表现

时间轴 (近 90 天)

9月28日

一篇论文提出了针对系统综述筛选阶段的基准框架 SRBench,并配套发布了实验工具 PromptSR,用于评估大语言模型在文献筛选任务中的表现

待验证50%
9月28日

SRBench 基准数据集包含 45,064 条标注条目

待验证50%
9月28日

SRBench 数据集覆盖 32 项经过精心整理的二次研究

待验证50%
9月28日

SRBench 的评估框架专门针对类别不平衡问题设计,明确考虑系统综述中被排除文章相对于被纳入文章的高占比特征

待验证50%
9月28日

论文给出了一个应用案例,演示 SRBench 与 PromptSR 如何协同工作

待验证50%

全部知识事实 (5)

来源文章