Paper2Agent

上述评测只覆盖论文定义的任务（教程题检验执行忠实度，新问题检验工具灵活组合能力），不能代表该方法对所有科研任务的普适能力。

Paper2Agent 的核心思路是把论文、补充材料、代码、数据和分析流程整理成可查询的资料与可运行的工具，再接入聊天 Agent，使研究者既能用自然语言询问方法细节，也能让 Agent 按步骤执行分析。

在 300 道教程题测试中，Paper2Agent 的准确率为 91.2%，高于聊天 Agent 直接访问对应代码仓库时的 80.3%。

Paper2Agent 的服务器包含三类资源：可执行方法的工具、论文/代码/数据等静态资料、以及提示模板。

Paper2Agent 借助模型上下文协议（MCP）规定聊天 Agent 如何发现资料、理解工具说明并发起调用，使不同论文的方法拥有统一的调用方式。

Paper2Agent 对每个生成的工具都用原仓库事例做自动验证，验证维度包括目标文件是否生成、数值差异是否在容差内、图表能否与原图对应，验证失败会继续诊断修复。

自动验证的前提是仓库自带可复现的教程或示例；若原教程依赖特定硬件、私有数据或随机种子未固定，参考输出可能不可得，此类论文难以进入工具化流程。

团队将 AlphaGenome 做成 Agent，生成 22 个工具且全部通过自动验证，用时约 45 分钟，成本约 14 美元。

Scanpy Agent 在四个公开单细胞数据集上运行，质控后的细胞与基因数量以及各细胞簇的标记基因，均与研究者用同一套参数得到的结果相同。

在 100 篇计算生物学论文中，Paper2Agent 成功把 74 篇做成可用 Agent，共提出 599 个工具，其中 593 个通过验证。

在 10 篇非生物计算论文的 42 项任务上，Paper2Agent 的准确率达到 98.1%。

针对 26 篇数据和发现导向的论文，Paper2Agent 资源层回答 100 道综合问题的准确率为 89%，高于浏览网页基线的 82%。

斯坦福大学研究团队提出的 Paper2Agent 相关工作以《Reimagining Research Papers as Interactive and Reliable AI Agents》为题发表于 Nature。