基准
SRBench
专为系统综述文献筛选任务设计的基准框架,包含45,064条标注条目,覆盖32项二次研究,针对类别不平衡问题设计评估指标,用于评估LLM在文献筛选中的真实表现
时间轴 (近 90 天)
9月28日
一篇论文提出了针对系统综述筛选阶段的基准框架 SRBench,并配套发布了实验工具 PromptSR,用于评估大语言模型在文献筛选任务中的表现
待验证50%
9月28日
SRBench 基准数据集包含 45,064 条标注条目
待验证50%
9月28日
SRBench 数据集覆盖 32 项经过精心整理的二次研究
待验证50%
9月28日
SRBench 的评估框架专门针对类别不平衡问题设计,明确考虑系统综述中被排除文章相对于被纳入文章的高占比特征
待验证50%
9月28日
论文给出了一个应用案例,演示 SRBench 与 PromptSR 如何协同工作
待验证50%