Scientist World：为AI科学家打造可运行的研究世界

AI科学家已经出现，但供它们成长的世界尚未建成。人类科学家对此习以为常——几个世纪以来积累的开放问题和共享思想，静静躺在科学文献中。对AI科学家而言，那个世界可读却不可运行。为此，我们构建了Scientist World：每一篇研究论文都变成一个可执行环境。

从论文到可执行环境

Scientist World的核心思路并不复杂，却颇具野心。研究团队设计了一套自主流水线，自动从每篇论文中提取开放的研究问题，并将论文提出的方法复现为基线。当AI科学家进入该环境时，它的表现将与人类作者取得的成果进行对比评估。这相当于把静态的文献库改造成了动态的实验场。

首批发布了1,000个经过验证的环境。每个环境都经过复现验证，确保AI科学家面对的基线是可靠的、可运行的。这一点至关重要：如果基线本身有误，后续所有评估都失去意义。

以这个世界作为评估基准，团队发现前沿AI科学家在74%的情况下已经能够超越人类研究者。这个数字意味着，至少在某些经过验证的研究问题上，AI不仅能理解论文，还能提出优于原文的解法。

可执行环境（Executable Environment） 是本文的核心概念，指的是一种能够运行代码、接收输入并产生可观测输出的程序化沙盒，而非仅供阅读的静态文档。将论文转化为可执行环境，意味着需要自动提取论文中的方法描述、超参数设置和数据集信息，重建其代码实现，并配置好运行所需依赖。这不同于简单的代码复现，它还要求环境封装好开放问题，使AI能够提出假设、执行实验并得到反馈。可执行环境的关键价值在于提供了可验证的对照基线：AI的任何尝试都能与原文报告的结果直接比较，从而判断其是否真正推进了问题。这种环境也要求一定的容错与隔离机制，防止实验错误影响整体系统。

训练场：6400小时的研究轨迹

Scientist World的另一个身份是记录仪。它包含了6,400小时的研究轨迹，每一个想法、实验、失败和成功都被记录在案。这些轨迹构成了AI如何做科学的原始档案，也为后续训练提供了素材。

作为训练场，团队用这些数据将一个小的模型在研究构思（research ideation）能力上提升了158%，使其能够匹敌前沿模型。提升幅度说明，研究构思并非只能依赖模型规模的堆叠，高质量的过程数据同样能带来显著改变。

研究轨迹（Research Trajectory） 指的是AI科学家在解决研究问题过程中产生的完整操作序列，包括提出的想法、设计的实验、执行的代码、观察到的结果以及失败后的调整。与最终答案不同，轨迹记录了推理和试错的中间过程，因此蕴含了更丰富的学习信号。在训练中，轨迹可用于过程监督或模仿学习，让模型学习如何分解问题、选择实验策略以及从失败中恢复。6,400小时的轨迹规模，使得研究者能够分析AI科研行为的模式，并筛选高质量轨迹用于微调。轨迹数据的质量比数量更为关键，需要过滤掉重复、无效或过于简单的尝试，否则可能引入噪声。

三层价值：评估、记录与训练

Scientist World的架构可以拆成三层。评估层提供可运行的论文环境，把人类成果作为参照系；记录层沉淀研究轨迹，让AI的科研过程可追溯；训练层则利用这些轨迹改进模型的研究构思能力。三层相互强化：评估产生记录，记录用于训练，训练后的模型再回到评估中接受检验。

这种闭环设计回应了一个被忽视的问题。此前的AI科研评测多停留在问答或代码补全层面，缺乏真实的科研流程。Scientist World试图让AI科学家在接近真实的研究环境中成长，而非仅做文献的读者。

闭环设计（Closed-loop Design） 在本文中特指评估、记录与训练三个环节相互衔接、自我强化的系统架构。评估阶段产生的研究轨迹被记录层沉淀，训练层利用这些轨迹改进模型，改进后的模型再回到评估环境接受检验，形成循环。这种设计借鉴了强化学习中的环境交互思想，但更强调真实科研流程的复杂性。闭环的关键挑战在于避免评估污染：如果训练数据与评估环境过度重叠，模型可能记住答案而非学会研究。因此需要严格划分训练用轨迹与评估用环境，并定期更新评估集。良好的闭环应能持续产生新的开放问题和高质量轨迹，推动能力螺旋上升。

意义与待解问题

AI科学家自己的世界已经到来，它从科学中生长出来，也将随科学一同生长。不过，74%的超越率需要放在具体语境中理解：它衡量的是在已验证环境中的表现，而非在完全开放的前沿问题上独立开展研究的能力。6,400小时轨迹的质量分布、复现过程的自动化程度、以及小模型提升能否泛化到更大规模，都是值得后续观察的方向。

无论如何，把论文变成可运行环境这一动作，为AI科研能力的评估与训练提供了一个更贴近真实研究的基座。