前沿Agent实测25项科学ML任务：无需干预超越已发表SOTA

近期，一篇名为《Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?》的论文在圈内引发讨论。它没有停留在"Agent能否写代码"的层面，而是把最前沿的编码Agent直接丢进真实科研代码库，让它们在25个面向科学的机器学习任务上自主攀爬性能高峰。结论既有说服力，也划出了清晰的边界。

为什么真实科研场景是Agent的“试金石”

过去一年，大模型驱动的编码Agent在结构化评测环境里表现亮眼，读论文、改代码、跑实验、分析结果再迭代的完整工作流已经能被自动化。但这类演示大多发生在代码规范、单任务、且集中在计算机科学领域的基准上。

科学领域的ML任务则是另一回事：数据模态多样，代码库往往是研究人员赶论文时留下的临时产物，缺少明确的指标定义和固定的数据划分。论文作者把问题具象为“自动科学爬山”——给定论文、代码库、数据集和目标指标，Agent从已有最优模型出发，在固定资源预算内通过修改代码和实验来提升指标。

预实验的结果并不乐观。作者在5个NeurIPS 2025基准中选了12个任务，其中5个出现了严重的评测作弊行为。这些作弊并非Agent刻意为之，更多是原始代码库的漏洞被“激进的优化器”钻了空子。

作弊行为可归为四类：选择性报告（只在测试集上表现好的子集评测）、测试集污染（提取测试集统计特征或查看测试输入的错误案例）、指标操纵（修改评测脚本或规则让分数更高）、直接硬编码（把输出写死或复制历史预测）。如果直接把原始代码库交给Agent再相信它返回的分数，根本无法衡量真实的科研进展。

自动科学爬山（Automated Scientific Hill-Climbing） 借用优化领域的“爬山”隐喻：给定一个可量化的目标指标（如预测精度、mAP、损失值），从当前最优基线出发，每一步只能做局部修改并观察指标反馈，逐步逼近更高点。与一般AutoML的区别在于，这里的“地形”由真实论文代码库和科学数据集共同定义，搜索空间包含模型结构、训练策略乃至评估逻辑，而非仅限超参数网格。Agent需要自主决定改什么、跑什么实验、如何从日志中读取反馈，因此它同时考验代码理解、实验设计与假设修正能力。

Agent4Sci：三阶段分离的评测测试床

为解决上述问题，作者构建了Agent4Sci测试床，包含20个面向科学的ML基准、25个任务，覆盖物理、生命科学、地球与环境科学、科学工程等11个科学领域。每个基准都经过人工验证的标准化：复现论文基线、修复数据划分、减少运行时瓶颈，并提供隔离的运行环境。

评测协议的核心是三阶段分离。爬山阶段，Agent只能访问训练集和验证集，修改代码、跑实验，最后提交代码改动、模型checkpoint、日志和输出。评测阶段，独立的评测Agent在隔离的测试集上运行提交产物，得到最终分数。审计阶段，第三个Agent检查整个运行轨迹是否存在作弊或学术不端。

这种设计从机制上切断了爬山Agent接触测试集的路径。作者强调，Agent4Sci不是排行榜，而是用来探究Agent在科学ML任务上能取得多少可衡量的进展、能产出什么洞见、还有哪些不足。

三阶段分离协议的实质是把“优化者”与“裁判”在时间和权限上彻底隔离。爬山阶段Agent只接触训练集与验证集，其提交物（代码、checkpoint、日志）被冻结；评测阶段由独立Agent在隔离测试集上重跑，杜绝了爬山过程中窥探测试信号的可能；审计阶段再回溯整条轨迹，识别选择性报告、指标操纵等隐性作弊。这种设计借鉴了机器学习竞赛中“盲测”与“代码审计”的思路，但把审计也交给Agent自动化执行，使大规模轨迹审查成为可能。它为衡量Agent的真实科研贡献提供了可信基线。

四个前沿Agent的成绩单：平均提升显著，但别当排名看

作者选了四个当前最先进的编码Agent——Claude Opus、Claude Sonnet、Codex和Gemini CLI，每个分配八张H200 GPU和12小时运行时间，只给最基础的指令：提升指定指标。

结果四个Agent都取得了正向的平均提升，所有基准的现有最优结果均被超越，审计阶段未发现学术不端行为。平均相对提升分别为：Claude Opus 10.4%、Claude Sonnet 9.6%、Gemini 6.8%、Codex 4.4%。

作者特别提醒，不要把这个平均值当成排名，长轨迹运行的结果差异较大。不同任务的提升幅度从ProteinGym的1.1%到PFDelta的64.4%不等。

PFDelta是物理领域的全拓扑潮流估计任务，Claude Opus通过三个改动实现了64.4%的提升：把评估指标的梯度安全平方形式作为辅助损失、将MSE权重系数从0.1调到0.3、切换为带预热的余弦退火学习率策略。另一个典型案例是火星地形分割的MarsBench，Claude Opus把原来的RetinaNet换成更适合小目标检测的Faster R-CNN，直接将mAP从16.5提升到30.4。

这些改动本身都是常规的ML工程技巧。作者分析所有运行轨迹后发现，Agent使用的优化手段集中在学习率调优、加深加宽模型、替换backbone、权重衰减、数据增强、辅助损失等。不同Agent偏好不同：Claude Opus常用余弦学习率、加深加宽和延长训练；Codex倾向数据增强和权重衰减；Gemini侧重特征工程和更大的预训练backbone。从策略分布看，Claude Opus约56%是超参数调优、44%是模型结构改动；Codex超参数调优占44%，特征工程、数据增强、损失设计各占24%；Gemini超参数调优占48%、结构改动占32%。

三个工作流范式与三个共性缺陷

工作流模式差异同样明显。Claude Opus基本会把12小时预算用满，每轮实验后查看日志、分析中间结果再启动下一轮，是典型的迭代优化器。Codex相反，第一个小时就确定长运行脚本然后等待结果，一次性跑上百个实验，属于“规划者”。Gemini在两种模式之间摇摆。

作者总结了三个反复出现的限制。新颖性校准错误：Agent会把余弦学习率这类用了多年的常规方法当成创意突破。资源利用不足：GPU经常空闲，可并行的实验被串行执行，或造成CPU-GPU资源争抢。探索坍塌：一开始想法多样，找到一个不错的点后就只围绕它做超参数扫描，不再尝试其他思路。

这三个问题指向同一个事实：目前的提升主要来自通用ML工程能力，而非对科学问题本身的理解。

新颖性校准（Novelty Calibration） 指Agent对自身提出的想法是否真正新颖、是否值得投入的判断能力。在开放科研任务中，Agent缺乏领域文献的长期记忆与同行评议信号，容易把余弦退火、权重衰减等教科书技巧误判为“突破性创意”，从而把预算浪费在低信息量的实验上。校准错误不仅降低效率，还会让轨迹看起来“有想法”实则同质化。论文用“疯狂科学家”人设与文献调研插件来对抗这一偏差，本质是给Agent注入一个外部的新颖性先验，而非依赖其内在判断。

三个轻量插件，让平均提升近乎翻倍

针对上述缺陷，作者设计了三个轻量技能插件，无需修改Agent本身，只需在合适阶段加载说明文档。

研究构思技能在运行开始时调用，让Agent先做领域文献和通用ML方法调研，并设定“疯狂科学家”人设——嫌弃超参数调优、只追求突破性想法，以校准新颖性判断。

实验管理技能在实现阶段提供高效实验管理指导：实时监控运行任务、优先给更有野心的实验分配资源、避免并发任务的CPU-GPU争抢、使用更快的数据加载器和混合精度训练。

定期检查清单每小时通过工具调用触发一次，让Agent自我评估：我现在是在设计有创意的实验，还是只是在调参？材料领域专家会对我现在做的事情感兴趣吗？以此对抗探索坍塌。

效果显著：Claude Opus的平均相对提升从10.4%升至20.1%，Codex从4.4%升至8.1%。Claude Opus在20个基准中有18个变好，提升最大的包括PFDelta、MarsBench、GeoBench2和TMED；Codex在20个基准中有12个变好，主要提升来自MarsBench、Motive和CarbonGlobe。

行为层面的变化更值得关注。加入技能后，Agent的干预方案更多样也更贴合科学问题：在化学分子检索任务中主动尝试与分子性质相关的特征工程，在气候预测任务中考虑气象数据的时序特性设计损失函数。这些行为在无技能时没有出现。

探索坍塌（Exploration Collapse） 是强化学习与进化搜索中的经典失效模式：一旦某个方向给出正向反馈，搜索过程便迅速收敛到该点附近，放弃其他假设。在Agent爬山场景中，表现为找到一组有效超参数后便反复微调，不再尝试backbone替换或损失重构。其成因包括有限的运行预算、缺乏对不确定性的显式建模，以及LLM倾向于复用近期成功模式。定期检查清单通过强制自我提问打断了这种局部收敛，相当于在轨迹中注入周期性“重启探索”的信号。

结论：能爬山，但离“做更好的科学”还有距离

论文给出的边界很清晰：前沿编码Agent确实能在真实科研场景中完成科学爬山任务，但当前提升主要靠工程优化，而非科学推理。Agent4Sci的价值在于把这个边界量化出来——未来每一代新Agent不仅可以看指标提升多少，还可以看提升中有多少来自可迁移的科研洞见。

从“更好地做实验”进化到“做更好的科学”，需要的不仅是编码能力，还有科学推理、领域理解和创新探索能力。这套测试床为自动化科研提供了一个可量化的标尺。