EPOCH：用证据治理让AI科研代理的发现更可信

AI科研代理为何需要"证据治理"

AI研究代理正在越来越多地被用于搜索程序、数学构造和证明。这类系统本质上是在庞大的候选空间中寻找更优的算法、更紧的构造或更强的定理。然而，一个长期被忽视的问题逐渐浮现：现有系统往往只顾着优化评估器（evaluator）反馈，却没有认真管理这些反馈应该如何被解读、被质疑和被复用。

后果不容小觑。一个看起来很有希望、但实际上很脆弱的候选方案，可能被当作"发现"推上台面；更严重的是，基准测试上的改进、有限的数值证书（finite certificate）与定理级别的主张，这三种强度完全不同的结论被轻易混为一谈。换句话说，系统分不清"我在某个测试集上跑赢了"和"我证明了一个定理"之间的本质差异。

针对这一缺口，arXiv 最新论文提出了 EPOCH——一个以证据治理（evidence-governed）为核心的架构，目标是让AI科研代理产出的不仅是更强的解，更是更可信的科学发现。

EPOCH 的核心机制：一个被治理的发现循环

EPOCH 实现了一个"证据治理的发现循环"，它把多个环节组合在一起，确保每个候选方案都是按照其所支持主张的强度与范围来评估的，而不是一刀切地看评估分数。

五个关键组件

论文列出了五个核心要素，共同构成了这套治理机制：

• 显式任务契约（explicit task contracts）：明确界定一个任务到底要求什么样的结论，什么算作合格的证据。
• 类型化记忆（typed memory）：对过往候选和证据进行结构化、带类型的存储，避免不同强度的结论被混淆复用。
• 主动证伪（active falsification）：不是被动接受评估器的通过信号，而是主动去挑战和推翻脆弱的候选方案。
• 准入检查（admission checks）：候选方案要被接纳为"发现"前，必须通过与其主张强度相匹配的验证门槛。
• 独立复现（independent replay）：用独立的流程重新验证结果，考察其在留出（held-out）场景下的真实表现。

这套设计的精妙之处在于，它把"搜索优化"和"证据判定"解耦。传统系统容易陷入对评估反馈的过拟合，而 EPOCH 通过主动证伪与独立复现，专门对抗那些只在特定条件下成立的"假阳性发现"。

类型化记忆的概念值得额外说明。在传统的AI搜索系统中，记忆往往是扁平的——候选方案、评估分数、中间结果统统混存在同一个池子里，后续步骤可以随意取用而不区分来源的可靠程度。类型化记忆则为每一条存储的信息打上"证据类型"标签，例如区分"数值测试通过""形式化验证通过""仅在训练集上验证"等不同级别。这样一来，当系统在后续推理中复用某条历史记录时，它能够知道这条记录的证明强度，避免把一个"在少量样本上跑通"的结论当作普适结果来使用。这一机制与数据库领域的类型系统或程序语言的类型检查有相通之处：通过在数据层面携带元信息，让错误的推理在结构上难以发生，而不是依赖运行时的人工检查。

实验表现：多个基准上的领先成绩

EPOCH 在多个基准测试上展现了领先的综合性能，这是它区别于口头承诺的最有力证据。

跨基准的量化结果

在 AlgoTune 基准上，EPOCH 取得了业界最优的综合表现，平均归一化分数达到 0.65，大幅超过最强基线的 0.53。在内部的 Math14 测试套件上，它拿到了最高的平均分 0.57。

更值得关注的是它在官方测试复现（official-test replay）下的留出行为表现良好——这意味着它的优势不是靠记忆或过拟合刷出来的，而是在未见过的条件下依然成立。此外，EPOCH 在 AgentHPO 上也领跑描述性综合指标。

十个发现问题上的实质进展

抽象分数之外，论文强调 EPOCH 在十个具体发现问题上带来了实质性的、任务特定的进展，包括：

• 改进的可执行构造（executable constructions）
• 优化后的算法
• 反例（counterexamples）
• 有证明支持的结果（proof-supported results）

这些成果跨越了数学与计算两大领域，说明 EPOCH 具备把"搜索"真正转化为"具体进展"的能力，而非停留在刷榜层面。

为什么证据治理是必要的一步

EPOCH 的研究价值，不仅在于它刷新了几个基准的最高分，更在于它提出了一个方法论层面的观点：证据治理是迈向可信AI科研代理的必要一步。

当下大量AI代理系统把"评估器给出的分数提升"等同于"科学进步"，这种等价关系在严肃的科研场景中是危险的。一个在基准上的改进，不等于一个经得起同行检验的定理；一个有限数值验证通过的构造，也不等于普适成立的结论。EPOCH 的契约、准入检查和独立复现，恰恰是在系统层面建立起区分这些结论强度的机制。

从长远看，随着AI代理越来越深入地参与程序搜索、数学构造与定理证明，如何保证它们产出的"发现"值得信赖，将成为比单纯追求更高分数更重要的议题。EPOCH 给出的答案是：把科学共同体中早已存在的证据规范——契约、证伪、复现——工程化地嵌入到发现循环中。这或许正是AI从"能找到解"走向"能产出可信科学结论"的关键转折。

这一问题在自动定理证明（Automated Theorem Proving，ATP）与程序合成（Program Synthesis）领域已有深刻的历史教训。早期的归纳程序合成系统曾因为在有限示例集上通过验证便宣称"找到了正确程序"，后来被发现在边界输入上系统性地失败。类似地，机器学习辅助的数学猜想系统（如 DeepMind 2021 年的拓扑与表示论工作）在发表时均配合了人类数学家的独立验证，正是因为研究者们清楚地意识到：模型发现的"规律"需要与可证明的命题严格区分。EPOCH 的贡献在于把这种区分从事后人工审查，前移为系统架构中的内生约束——让代理在生成发现的过程中就持续自我质疑，而非等到发布环节才接受外部检验。

小结

EPOCH 代表了AI科研代理领域一个重要的思路转变：从单纯优化评估反馈，转向治理证据的产生、挑战与复用。它在 AlgoTune、Math14、AgentHPO 等基准上的领先成绩，加上在十个发现问题上的实质进展，为"证据治理能同时带来更强且更可信的结果"这一论点提供了支撑。对于关注AI自动化科研、程序合成与自动定理证明的研究者来说，这是一项值得深入关注的工作。