PHYRD基准：AI理论物理推理的严苛试金石

大型语言模型在物理研究中的潜力正被系统性地检验。近期提出的PHYRD基准，专门针对理论物理的推理能力设计，包含63个复现（Reproduce）和43个发现（Discover）问题，为评估AI是否真正理解物理推导提供了新标尺。

设计思路：复现与发现的双重考验

PHYRD将任务分为两类：Reproduce要求模型推导已发表的理论结果，Discover则要求模型在修改理论条件后推导新结论。这种设计区分了“记忆复述”和“灵活推理”。所有任务由FormulaForest构建，附带参考答案和子问题级别的评分标准（rubrics），确保评估的细粒度。

子问题级别的评分标准（rubrics） 是PHYRD实现细粒度评估的关键机制。传统基准通常只判断最终答案是否正确，而理论物理论证往往包含多个推导步骤，最终答案对但中间过程错误、或思路正确但计算失误的情况都很常见。子问题评分将一道题拆解为若干可独立判定的推理环节（如假设设定、方程建立、近似使用、极限检验等），对每个环节单独打分。这样既能区分“蒙对答案”与“真正掌握推导”，也能定位模型失败的具体环节，为后续训练提供更精确的反馈信号。

模型表现：整体准确率仍有明显短板

在五个模型上的测试显示，Reproduce任务的整题准确率介于49.21%至68.25%之间，而闭卷Discover任务的准确率波动更大，从18.60%到74.42%。这表明模型在复现已知推导时表现尚可，但在需要创造性推理的发现任务上极不稳定。工具使用能帮助四个模型完成更多Discover问题，但概念性错误和论证缺失依然存在。

据论文数据，即使借助工具，模型仍难以避免对物理概念的误解，或遗漏关键推导步骤。这提示当前AI在理论物理领域的推理能力距离可靠应用还有距离。

闭卷（closed-book）与工具使用（tool use） 是两种不同的评测设定。闭卷指模型仅依靠自身参数中的知识作答，不允许调用计算器、符号计算系统或检索外部文献；工具使用设定则允许模型调用外部工具（如Mathematica、Python符号库）辅助代数运算与数值验证。区分这两种设定，可以判断模型失败究竟源于推理链条本身不足，还是源于计算能力受限。文中四个模型在工具辅助下能完成更多Discover问题，说明部分瓶颈在于计算执行而非物理理解，但概念性错误依然存在，表明工具无法弥补物理直觉层面的缺陷。

合成数据的价值：FormulaForest提升下游基准

PHYRD的另一贡献是验证了FormulaForest作为合成数据源的有效性。在OpenAI开发的FrontierScience基准上，使用FormulaForest生成的数据后，Qwen-35B-A3B模型的准确率从61%提升至72%。这一结果说明，精心构造的理论物理问题不仅能评估模型，还能反哺模型训练，提升其在科学推理任务上的表现。

FrontierScience基准 是OpenAI推出的科学推理评测集，覆盖物理、化学、生物等学科的前沿问题，强调需要多步推理和专业知识的难题，而非教科书式的标准习题。它以难度高、区分度强著称，常被用来检验模型在专家级科学任务上的上限。PHYRD作者选择该基准作为下游验证对象，是为了检验FormulaForest生成的合成数据能否迁移到PHYRD之外、由不同机构构建的评测体系上，从而排除“只在自己基准上有效”的自证偏差，增强结论的外部效度。

挑战与展望

PHYRD作为“活基准”（living benchmark），意味着它会持续更新以反映理论物理研究的前沿。当前结果显示，AI在理论物理推理上仍面临概念理解和多步论证的挑战。未来，随着模型规模和训练数据的优化，结合工具使用和合成数据，AI有望在物理发现中扮演更积极的角色。但在此之前，像PHYRD这样的基准将持续提醒我们：真正的物理推理，远非模式匹配那么简单。

“活基准”（living benchmark） 是针对静态基准易被数据污染和饱和问题提出的一种基准设计理念。传统基准一旦公开发布，其题目就可能进入后续模型的训练语料，导致分数虚高；同时随着模型能力提升，固定题目会逐渐饱和而失去区分度。活基准通过定期增补新题、淘汰过时题目、跟踪最新研究成果来保持评测的新鲜度和难度。对理论物理这类前沿快速演进的领域而言，活基准能持续反映模型在真正未见过问题上的推理水平，但也带来版本可比性、评测成本与题目质量控制等新挑战。