[控场AI]
基准

SciResearch-Eval

首个评估AI智能体科学判断力的交互式基准,通过让智能体自主设计实验、使用可能缺陷的模拟器并给出95%置信区间,检验其校准能力与科学品味。

时间轴 (近 90 天)

11月17日

SciResearch-Eval 是首个同时结合智能体自主设计实验、故意植入缺陷的模拟器与用精确真值对校准区间评分的基准(据作者称)。

待验证50%
11月17日

SciResearch-Eval 包含 93 个留出任务、9 个模型,共计 2,511 个回合。

待验证50%
11月17日

在 SciResearch-Eval 中,多数模型的 95% 置信区间仅在 20% 到 62% 的情况下覆盖真实值。

待验证50%
11月17日

GPT-6 Astra 的 95% 置信区间覆盖率达到 94%。

待验证50%
11月17日

Claude Fable 5.2 的 95% 置信区间覆盖率高达 99%。

待验证50%
11月17日

在默认推理强度下,Claude Opus 在 35% 的回合中察觉到模拟器缺失的物理项。

待验证50%
11月17日

在默认推理强度下,GPT-6 Astra 在 66% 的回合中察觉到模拟器缺失的物理项。

待验证50%
11月17日

要求模型陈述自己的策略能将区间评分提升 1.6 至 2.5 倍,且该结果在预注册的全新数据划分上得到复现。

待验证50%
11月17日

策略陈述虽改善区间评分,但模型 95% 置信区间的覆盖率几乎不变。

待验证50%
11月17日

研究团队已开放 SciResearch-Eval 的环境、评分器与运行框架。

待验证50%

全部知识事实 (10)

来源文章