斯坦福Paper2Agent登Nature:让论文方法变成可调用科研工具

斯坦福Paper2Agent把论文方法封装为可验证的AI工具,教程题准确率91.2%。
斯坦福团队在 Nature 发表 Paper2Agent,试图解决论文方法复用难的问题:公开代码不等于可复现,找示例、装依赖、理清执行顺序的隐性成本往往高于读论文。该系统把论文代码、数据与补充材料封装为带明确输入输出的可调用工具,通过模型上下文协议(MCP)接入聊天 Agent,并借助提示模板规定复杂分析的步骤顺序。每个生成工具都用原仓库示例自动验证,检查文件生成、数值差异与图表对应,未通过者不进入最终服务器。300 道教程题上准确率 91.2%,高于直接访问仓库的 80.3%;100 篇计算生物学论文中 74 篇成功工具化,593/599 个工具通过验证。作者强调,执行忠实不等于科学解释成立。
斯坦福Paper2Agent登Nature:让论文方法变成可调用科研工具
论文里的方法想复用到自己的数据上,通常要先找代码、配环境、搞清楚输入格式和运行顺序。任何一步对不上,方法就很难真正跑起来。斯坦福大学研究团队提出的 Paper2Agent 试图把这一整套准备工作交给 AI Agent 完成。相关工作以《Reimagining Research Papers as Interactive and Reliable AI Agents》为题发表于 Nature,期刊页面显示收稿日期为 2025 年 10 月 13 日,2026 年 8 月接收。
它的核心思路是:把论文、补充材料、代码、数据和分析流程整理成可查询的资料与可运行的工具,再接入聊天 Agent。研究者既可以用自然语言询问方法细节,也可以让 Agent 按步骤执行分析。在 300 道教程题测试中,Paper2Agent 的准确率为 91.2%,高于聊天 Agent 直接访问对应代码仓库时的 80.3%。
为什么公开代码还不够
代码仓库公开,并不等于方法可复用。研究者仍要找到合适的事例、安装依赖、准备输入,再判断脚本之间的执行顺序。每篇论文的接口和用法都不一样,这些隐性成本往往比读论文本身更高。
如果只是让大模型读论文,它可以解释论文写了什么,却很难替研究者把方法跑到新数据上。Paper2Agent 的差异在于把代码和数据也纳入系统,让聊天模型能够调用实际工具:模型负责理解任务、安排步骤,计算由论文里的程序执行,结果再交回模型整理。

三类资源构成Agent的“服务器”
Paper2Agent 的服务器里放置了三类东西。第一类是能执行方法的工具;第二类是论文、代码和数据等静态资料;第三类是提示模板。提示模板会告诉 Agent 做一项复杂分析时应该先检查什么、再调用哪个工具。
协议层面,系统借助模型上下文协议(MCP)规定聊天 Agent 怎样发现资料、理解工具说明并发起调用。这样不同论文的方法就有了统一的调用方式,Agent 不需要为每篇论文单独适配一套接口。
从论文到工具的流水线
一篇论文变成工具要经过若干步骤:系统先从论文中找到对应的公开仓库,检查依赖并准备运行环境,再找出教程和事例实际跑一遍;随后抽取智能体根据这些可运行事例,把核心步骤包装成有明确输入和输出的工具;论文和补充材料则整理成资料,供聊天 Agent 查阅。
模型生成的工具可能写错代码,因此每个工具都要拿原仓库事例做自动验证:检查目标文件有没有生成、数值与参考结果的差异是否小于设定值、图表能否与原图对应。验证失败会继续诊断和修复,反复过不了的工具不会进入最终服务器。工具说明里还会标出原始代码位置,方便研究者追溯实现来源。
模型上下文协议(Model Context Protocol,MCP)是 Anthropic 于 2024 年底提出并开源的标准化接口规范,用于让大模型应用以统一方式发现和调用外部工具、数据源与提示模板。它采用客户端—服务器架构:MCP 服务器暴露三类原语——工具(tools,可执行的函数)、资源(resources,可读取的静态资料)和提示模板(prompts,预置的调用范式),客户端(如聊天 Agent)通过 JSON-RPC 与之通信。MCP 的设计目标正是解决“每个数据源或工具都要单独写适配层”的问题,因此常被类比为 AI 应用领域的 USB-C 接口。在 Paper2Agent 中,论文方法被封装为一个 MCP 服务器,不同论文因此共享同一套调用约定。
自动验证工具是否正确,前提是仓库自带可复现的教程或示例。Paper2Agent 会让原仓库的教程脚本真实跑一遍,得到参考输出,再把 Agent 生成的工具输出与之比对。比对维度包括目标文件是否生成、数值差异是否在容差内、图表是否与原始图对应。这种“以原代码输出为基准”的做法属于回归测试思路:不判断实现是否优雅,只判断行为是否等价。局限在于,若原教程本身依赖特定硬件、私有数据或随机种子未固定,参考输出可能不可得,此类论文便难以进入工具化流程。
具体案例:AlphaGenome与Scanpy
团队把基因组调控效应预测模型 AlphaGenome 做成了一个 Agent,生成 22 个工具,全部通过自动验证,用时约 45 分钟,成本约 14 美元。研究者可以提交一个遗传变异,让工具计算它对基因表达等不同生物过程的预测影响,再生成图表帮助查看结果。
单细胞分析往往要连续跑很多步骤。论文用 Scanpy 做了示范:提示模板把质量控制、归一化、选特征、降维、聚类等步骤排成一条可复用的流程,研究者给出数据文件后,Agent 会按顺序调用工具并汇总结果。流程顺序同样从论文和代码中提取,研究者不必重新手写很长的操作说明。

与手工结果的一致性
Scanpy Agent 在四个公开单细胞数据集上运行,质控后的细胞和基因数量以及各细胞簇的标记基因,都与研究者用同一套参数得到的结果相同。团队还用七种数据检查它能否根据数据特点调整参数。AlphaGenome 的测试既包含教程问题也包含新问题,说明工具并非只会照抄固定输出。
Scanpy 是单细胞 RNA 测序分析领域广泛使用的 Python 工具包,覆盖质控、归一化、高变基因选择、降维(PCA/UMAP)、聚类与标记基因鉴定等标准步骤。单细胞分析的特点是步骤强依赖、参数相互影响,例如质控阈值会改变后续聚类结果,因此“流程顺序”本身就是方法知识的一部分。论文用 Scanpy 做示范,正是看中这类多步骤流程难以靠单次问答复现:Agent 必须把顺序、参数与中间检查点都固化下来,才能在新数据上得到可比结果。
规模化验证的数据
在 100 篇计算生物学论文中,系统成功把 74 篇做成可用 Agent,共提出 599 个工具,其中 593 个通过验证。在 10 篇非生物计算论文的 42 项任务上,准确率达到 98.1%。
没有可运行代码时,Paper2Agent 也并非无事可做:它仍能整理论文、补充材料和数据说明,作为结构化资料供聊天 Agent 查询。针对 26 篇数据和发现导向的论文,资源层回答 100 道综合问题的准确率为 89%,高于浏览网页基线的 82%。但它无法凭空变出缺失的实验代码,资料问答和方法执行是两种不同能力。
模型能力本身也在影响结果。评测中直接访问仓库的基线使用 Claude Sonnet 4 时得分 80.3%,换成更新的 Sonnet 4.6 后为 86.3%;Paper2Agent 配 Sonnet 4 则达到 91.2%。更强的模型有帮助,但工具接口、执行顺序和结果检查同样决定任务表现。这组测试只覆盖论文定义的任务,不能代表所有科研问题。

需要区分两类评测:教程题来自论文或仓库自带的示例,答案有明确参考,主要检验执行忠实度;新问题则是围绕同一方法提出的、教程中未直接出现的问题,用来检验工具能否被灵活组合。准确率数字应当结合这一区分来读——91.2% 与 80.3% 的对比反映的是“有工具接口”相对“直接读仓库”的优势,而非该方法对所有科研任务的普适能力。论文本身也指出,测试只覆盖论文定义的任务。
在科研Agent版图中的位置
把 Paper2Agent 放进当下的科研 Agent 谱系中看会更清楚:有的工作从已有论文总结研究策略,帮助研究者形成方向;有的从研究目标出发生成并筛选可检验的假设;有的尝试自动完成机器学习研究的完整流程。Paper2Agent 做的是另一件事——让已经发表的方法变成能调用、能核对的工具,上层科研 Agent 可以用它提供的论文方法和数据资源开展分析。
论文还展示了一个多篇论文 Agent 协作的案例:把独立实验数据中的基因扰动结果放在一起比较,优先指出一个可能相关的因果基因。这个结论来自计算分析,仍需后续生物学研究验证。更现实的变化是,跨论文找方法、取数据、跑分析时,研究者可以少花时间在仓库和格式之间来回切换。
不能交给Agent的判断
系统能否跑出与教程接近的结果,和它给出的科学解释是否成立,是两件事。开放式分析常常有多个合理答案,单一参考答案只能检验执行是否忠实,不能代表科学解释的全部质量。

研究者仍要决定研究方向、判断证据强弱,并确认新的分析值得相信。工程层面也有新问题:运行外部代码需要隔离环境和权限限制,分发工具要遵守原代码许可,新的分析若促成发现,还要给方法作者、数据贡献者和研究设计者适当署名。论文还讨论了让维护智能体定期重跑测试的设想——把工具公开出来只是开始,来源、许可和后续维护都需要跟上。
对研究者而言,Paper2Agent 的价值不在于替代科学判断,而在于把查找和执行已发表方法的工作交给 Agent,把时间还给选问题、判断证据和设计验证。
相关推荐

LLaMA-Factory实战:零代码微调大模型全流程
本文介绍LLaMA-Factory开源微调工具,涵盖其60.1K Star项目背景、支持的模型与算法、本地与云服务器部署选择,以及CUDA环境安装步骤,帮助零基础开发者快速上手大模型微调。

曾鸣深度复盘:OpenAI为何难成终局赢家?公司制度将消亡
曾鸣在张晓骏商业访谈录中深度复盘AI终局:模型公司只是基础设施,OpenAI、Anthropic难成最终赢家;下一战役是Agent入口标准之争;公司制度将因AI重构而消亡,只有使命驱动的企业能穿越周期。

OpenHands v1.28.0:OpenCode与PI成内置Agent,密钥可对话申请
OpenHands 21天连推5个版本,v1.27.0将OpenCode与PI写入内置Agent列表,v1.28.0支持对话内申请密钥。本文梳理ACP协议接入方式、凭证复用规则、模型列表变更及升级建议。