LLM智能体如何自动化科学复现与稳健性分析？SEER数据库案例解析

科学研究的可复现性和分析稳健性是科学进步的基石，但人工评估这些属性通常成本高昂。一项新研究探索了LLM智能体能否帮助自动化复现与稳健性分析，并以美国SEER癌症数据库为案例进行了实证。

研究背景：复现危机与自动化机遇

可复现性是科学验证的核心，然而在医学、社会科学等领域，大量已发表研究难以被独立复现。传统上，复现一项研究需要研究者手动获取数据、重现分析流程，耗时耗力且依赖专家经验。随着大语言模型（LLM）在代码生成与推理能力上的进步，一个自然的问题是：LLM智能体能否承担起部分复现与稳健性检验的工作？

该研究聚焦于SEER数据库——美国国家癌症研究所维护的癌症登记系统，支撑了数以万计的已发表研究。研究者构建了SEER-Repro基准，并开发了AI智能体来复现论文中的原子主张，进而系统性地测试分析选择的稳健性。

可复现性（Reproducibility） 在计算科学中通常指：使用原作者提供的数据与代码，能够重新生成论文中的主要结果；与之相邻的可重复性（Replicability） 则指独立研究者使用新数据得到一致结论。医学与社会科学中常说的“复现危机”，很大程度上源于方法描述不完整、数据共享受限、分析流程依赖研究者隐性决策等因素。LLM智能体之所以被视为潜在解法，是因为它能阅读方法章节、生成并调试分析代码、在报错时迭代修正，从而把过去需要研究生数天完成的手工复现压缩为可批量执行的流程。不过，智能体的成功高度依赖论文方法部分的颗粒度以及数据是否可程序化访问。

SEER-Repro基准：20篇论文与2190条原子主张

研究团队首先构建了SEER-Repro基准，包含20篇已发表的基于SEER数据库的论文，以及复现其发现所需的数据和资源。他们将每篇论文的结论拆解为“原子主张”——即不可再分的具体声明，总共得到2,190条原子主张。这为自动化复现提供了可量化的评估基础。

据论文报告，所开发的AI智能体成功复现了77.4%的原子主张，并为后续分析提供了可执行的基线。这一复现率表明，LLM智能体在结构化数据分析和代码生成方面已具备相当的能力，但仍有约22.6%的主张未能复现，可能源于数据访问限制、方法描述不完整或分析复杂度超出智能体能力。

原子主张（atomic claim） 指一项研究中不可再分、可独立验证的具体声明，例如“某分期患者的五年生存率为X%”或“变量A与结局B在调整C后显著相关”。将论文拆解为原子主张，是为了把笼统的“这篇论文能否复现”转化为可逐条判定对错的细粒度单元，从而计算复现率、定位失败环节。这一做法借鉴了事实核查与主张检测领域的思路：复合结论一旦拆开，就能区分哪些部分依赖数据、哪些依赖模型假设，也便于不同智能体或人工评审对同一条主张独立打分。原子主张的抽取质量本身构成基准效度的一部分，若拆分过粗会掩盖部分失败，过细则可能引入原文未明确表达的推断。

智能体分析管道：识别关键分析选择

在复现的基础上，研究进一步开发了智能体分析管道，用于测试医学发现的稳健性。该管道的工作流程包括：识别每个发现背后的分析选择（如变量定义、统计模型、协变量调整等），提出可辩护的替代选择，并重新运行分析以判断这些选择是否影响最终结论。

这种“多宇宙”式的稳健性检验思路，旨在揭示哪些分析决策对结论具有实质性影响。研究结果显示，在完全复现的发现中，管道识别出9.5%存在可能具有重要影响的 analytical choices，并将这些发现标记出来供专家审查。这意味着，自动化稳健性分析能够有效缩小专家需要关注的範圍，将有限的人力集中在潜在风险最高的研究上。

多宇宙分析（multiverse analysis） 是稳健性检验的一种系统化框架：研究者枚举从数据清洗到模型设定的一系列合理分析选择（如缺失值处理方式、变量切分点、协变量集合、统计模型族），对每种组合分别估计结果，从而观察结论在“分析宇宙”中的分布，而非只报告单一路径。它区别于传统敏感性分析之处在于同时考察多个决策维度的联合影响。本研究的智能体管道可视为对多宇宙思想的自动化实现：由模型识别并生成替代分析选择，再批量重跑。需要留意的是，多宇宙分析的结果解释依赖选择集合的合理性——纳入不合理的选项会人为制造不确定性，而遗漏关键选择则会低估脆弱性。

对科学评审的启示与局限

该研究展示了LLM智能体在科学评审中的辅助价值：它们可以复现发现、系统性地测试稳健性，并将专家注意力引导至可能具有重要影响的分析选择上。然而，作者也指出当前方法的局限性——复现率并非100%，且稳健性分析依赖于对分析选择的准确识别，这可能受限于论文方法部分的详细程度。

从更广的视角看，这项研究为“AI for Science”提供了一个具体落点：不是替代科学家，而是承担重复性、系统性的验证工作，让专家专注于判断与创新。随着LLM推理能力的提升和基准的完善，自动化复现与稳健性分析有望成为科学出版流程中的常规环节。

核心要点

• 研究构建了SEER-Repro基准，包含20篇SEER论文和2,190条原子主张，用于评估自动化复现能力。
• LLM智能体成功复现了77.4%的原子主张，展示了在结构化医学数据分析中的潜力。
• 智能体分析管道在完全复现的发现中识别出9.5%存在可能影响结论的分析选择，并标记供专家审查。
• 该方法将AI定位为科学评审的辅助工具，通过自动化复现和稳健性检验，优化专家资源的分配。