基准SEER-Repro基准
SEER-Repro
用于评估LLM智能体科学复现能力的基准数据集，包含20篇基于SEER癌症数据库的已发表论文及其复现所需数据，将论文结论拆解为2190条原子主张作为可量化评估单元。
时间轴 (近 90 天)
10月19日
在SEER-Repro实验中，研究者评估了20项实证研究中的2,190条原子断言。
待验证50%
10月19日
该智能体框架在SEER-Repro实验中实现了77.4%的端到端自主复现率。
待验证50%
10月19日
该智能体框架识别出9.5%的可复现发现存在分析脆弱性。
待验证50%
10月19日
研究构建了SEER-Repro基准，包含20篇已发表的基于SEER数据库的论文及复现所需的数据和资源。
待验证50%
10月19日
SEER-Repro基准将每篇论文的结论拆解为原子主张，总共得到2,190条原子主张。
待验证50%
10月19日
所开发的AI智能体在SEER-Repro基准上成功复现了77.4%的原子主张。
待验证50%