ProteinGeoBench
蛋白质结构分析基准测试，包含131个蛋白质结构任务，分为元数据查询和数值计算等任务族，用于评估AI智能体的结构查询与几何计算能力
时间轴 (近 90 天)
ProteinGeoBench基准包含131个蛋白质结构任务。
研究者收集了四个前沿模型的4,249次运行轨迹，以及26个模型的4,486次额外试验。
四个前沿模型中有三个的得分密集在0.785到0.816之间，彼此差距仅0.031，统计上无法区分；第四个模型得分为0.707，与前三者的差距均显著异于零。
四个前沿模型里，有三个在元数据查询任务上的表现优于数值计算任务，只有第四个模型在数值任务上略占优势。
131个任务中数值计算类只有28个，但十二个所有四个模型都失败的任务里有一半属于数值计算。
论文指出，如果每个任务只运行一次，23.9%的bootstrap重采样会把不同的模型排到第一位。
在选定的15个任务切片上，移除网络访问后分数的下降幅度大于屏蔽八个结构数据库域名的影响。
移除网络访问与屏蔽结构数据库域名这两个对比是在不同的评测轮次中完成的，无法干净地分解出各自独立的效应。
将每个模型替换为其自带的命令行智能体（harness）后，分数变化范围从-0.071到+0.086。
在对26个模型的扩展试验中，数值计算表现随着非数值表现一起上升。
还有 4 条时间轴事件
全部知识事实 (14)
ProteinGeoBench基准包含131个蛋白质结构任务。
50%待验证研究者收集了四个前沿模型的4,249次运行轨迹，以及26个模型的4,486次额外试验。
50%待验证四个前沿模型中有三个的得分密集在0.785到0.816之间，彼此差距仅0.031，统计上无法区分；第四个模型得分为0.707，与前三者的差距均显著异于零。
50%待验证四个前沿模型里，有三个在元数据查询任务上的表现优于数值计算任务，只有第四个模型在数值任务上略占优势。
50%待验证131个任务中数值计算类只有28个，但十二个所有四个模型都失败的任务里有一半属于数值计算。
50%待验证论文指出，如果每个任务只运行一次，23.9%的bootstrap重采样会把不同的模型排到第一位。
50%待验证在选定的15个任务切片上，移除网络访问后分数的下降幅度大于屏蔽八个结构数据库域名的影响。
50%待验证移除网络访问与屏蔽结构数据库域名这两个对比是在不同的评测轮次中完成的，无法干净地分解出各自独立的效应。
50%待验证将每个模型替换为其自带的命令行智能体（harness）后，分数变化范围从-0.071到+0.086。
50%待验证在对26个模型的扩展试验中，数值计算表现随着非数值表现一起上升。
50%待验证不同实验使用了不同的任务子集，因此无法将模型、工具框架、访问条件和任务构成这四个因素相互排序。
50%待验证论文建议评估应按任务族（task family）分别报告结果，而不是只给一个总分。
50%待验证论文建议评测报告应明确说明每个任务的运行次数、披露所使用的工具框架（harness）以及网络与数据库访问条件。
50%待验证当一个基准的总分被大量元数据查询任务稀释时，高分可能掩盖模型在几何计算上的真实短板。
50%