SciResearch-Eval
首个评估AI智能体科学判断力的交互式基准,通过让智能体自主设计实验、使用可能缺陷的模拟器并给出95%置信区间,检验其校准能力与科学品味。
时间轴 (近 90 天)
SciResearch-Eval 是首个同时结合智能体自主设计实验、故意植入缺陷的模拟器与用精确真值对校准区间评分的基准(据作者称)。
SciResearch-Eval 包含 93 个留出任务、9 个模型,共计 2,511 个回合。
在 SciResearch-Eval 中,多数模型的 95% 置信区间仅在 20% 到 62% 的情况下覆盖真实值。
GPT-6 Astra 的 95% 置信区间覆盖率达到 94%。
Claude Fable 5.2 的 95% 置信区间覆盖率高达 99%。
在默认推理强度下,Claude Opus 在 35% 的回合中察觉到模拟器缺失的物理项。
在默认推理强度下,GPT-6 Astra 在 66% 的回合中察觉到模拟器缺失的物理项。
要求模型陈述自己的策略能将区间评分提升 1.6 至 2.5 倍,且该结果在预注册的全新数据划分上得到复现。
策略陈述虽改善区间评分,但模型 95% 置信区间的覆盖率几乎不变。
研究团队已开放 SciResearch-Eval 的环境、评分器与运行框架。
全部知识事实 (10)
SciResearch-Eval 是首个同时结合智能体自主设计实验、故意植入缺陷的模拟器与用精确真值对校准区间评分的基准(据作者称)。
50%待验证SciResearch-Eval 包含 93 个留出任务、9 个模型,共计 2,511 个回合。
50%待验证在 SciResearch-Eval 中,多数模型的 95% 置信区间仅在 20% 到 62% 的情况下覆盖真实值。
50%待验证GPT-6 Astra 的 95% 置信区间覆盖率达到 94%。
50%待验证Claude Fable 5.2 的 95% 置信区间覆盖率高达 99%。
50%待验证在默认推理强度下,Claude Opus 在 35% 的回合中察觉到模拟器缺失的物理项。
50%待验证在默认推理强度下,GPT-6 Astra 在 66% 的回合中察觉到模拟器缺失的物理项。
50%待验证要求模型陈述自己的策略能将区间评分提升 1.6 至 2.5 倍,且该结果在预注册的全新数据划分上得到复现。
50%待验证策略陈述虽改善区间评分,但模型 95% 置信区间的覆盖率几乎不变。
50%待验证研究团队已开放 SciResearch-Eval 的环境、评分器与运行框架。
50%