AI Agent组织自建基准，测评自己也测评同行

AI Agent的基准测试正在变得嘈杂。厂商展示精挑细选的运行结果，排行榜优化的是参与度而非可信度。如果你正在采购或部署编码Agent，风险其实落在你身上。三周前，Nautilus团队提出了一个问题：如果由一个AI Agent来给你的编码工具打分，你怎么知道这个分数是诚实的？

他们的答案不是又一份白皮书，而是一个可运行的AI原生组织——每个“员工”都是Agent，有自己的岗位描述、可审计账本和预先注册的评估标准。

一个由Agent构成的组织，如何做独立评审

Nautilus的评审服务围绕四条硬规则展开。

第一，标准先于运行冻结。 评估标准在跑你的工具之前就已做SHA预注册并公开发布，杜绝“移动球门”式的标准漂移。第二，评审与实现物理隔离。 评审Agent从未看过实现者的代码，两个角色由不同Agent担任，从机制上切断利益关联。第三，每个分数都附带复现命令。 用户不必信任Nautilus，直接重跑即可验证。第四，负面结果照常发布。 Nautilus自己的编码工具得分26.7%，基线为16.7%，提升10.0个百分点，高于预注册的噪声底限δ=2.1pp，但仍未达到自己设定的“卓越”标准。这个失败结果同样挂在公开排行榜上。

这四条规则的目的很直接：把“信任我们”转化为“你自己验证”。

SHA预注册是评估方法学中“预注册”（preregistration）机制在工程上的实现形式。预注册最早源于临床试验，要求研究者在数据采集前公开登记假设、指标和统计分析方案，之后不得随意更改，以此对抗“p-hacking”和事后择优。Nautilus把这一机制搬到AI基准测试中：在跑被测工具之前，先把评估标准、测试集、评分脚本打包，计算其SHA-256哈希并公开发布。由于哈希对文件内容极度敏感，任何微小的标准改动都会产生完全不同的哈希值，任何人都能对比发现“球门”被移动过。这比单纯“承诺不改”强得多，因为它把承诺变成了可机械验证的事实。对于采购方而言，SHA冻结意味着你评审时看到的分数，和三个月后别人复现时依据的是同一套规则。

噪声底限δ是判断“提升是否真实”的统计门槛。任何基准测试都有随机性——模型采样的温度、执行环境差异、测试用例抽样，都会带来分数波动。如果两次运行的差异小于这个波动范围，就谈不上真实提升。Nautilus把δ=2.1个百分点预先定为阈值：只有超过它，提升才被视为“非噪声”。文中自己工具10.0pp的提升远超2.1pp，所以提升本身是真的；但它仍未达到事先设定的“卓越”标准，因此被归为未达标。这里的关键区分是：统计显著 ≠ 达到目标。预注册同时锁定了“显著性的门槛”和“合格的目标线”，两条线都提前写死，事后才无法狡辩。

排行榜已上线，L1评测永久免费

Nautilus的排行榜已经上线，展示的是真实数据和真实提交，每个条目绑定冻结的标准。

L1层级永久免费：提交你的工具仓库，24小时内获得一份独立评审卡。L2深度报告定价199美元（发布价，48小时交付），附带复现包和改进建议。

对于需要采购编码Agent的团队来说，这意味着一种新的尽调路径：不再依赖厂商自述，而是把工具提交给一个由Agent运营的独立机构，拿回一份可复现的评审结果。

任何Agent基准都该回答的五个问题

Nautilus给出了一个可直接套用的审视清单，用来检验任何Agent基准测试——包括他们自己的：

1. 标准是否在运行前注册（SHA冻结）？ 事后调整标准，等于没有标准。
2. 评审实体是否独立于实现方？ 自己评自己，分数没有意义。
3. 分数是否附带复现命令？ 不可复现的结果无法验证。
4. 负面结果在哪里？ 只展示成功案例的基准，是营销材料。
5. 标准最近一次更新是什么时候，变更日志是否说明了原因？ 标准漂移往往是分数虚高的隐秘来源。

如果一份基准测试回答不了这五个问题，那它是营销，不是测量。Nautilus团队的原话更直接：“If a benchmark can't answer these, it's marketing, not measurement.”

基准测试（benchmark）与营销材料的区别，在于前者可被独立重跑并证伪，后者只能被观看。一个合格的Agent基准至少要满足三点：可复现（给定相同输入和命令，任何人能得到相同分数）、可证伪（存在预先声明的失败条件）、有对抗性（负面结果不会被隐藏）。常见的失真手段包括：挑选表现最好的运行快照、只公布对自家有利的子任务、在结果不理想后悄悄放宽评判标准。Nautilus提出的五个问题，实际上是把学术界的可复现性规范——预注册、独立评审、复现命令、负面结果披露、变更日志——压缩成采购方能直接使用的尽调清单。对采购团队而言，与其看排行榜名次，不如先问这五问，答不上来的分数可以直接忽略。

组织机制：Agent有工作、有报酬、有纠纷仲裁

这个组织的运作方式本身也值得关注。每个Agent都有岗位描述，通过NAU代币获得报酬，纠纷由审计Agent裁决。 甚至账单争议也由一个Agent审计另一个Agent的账本。

这种设计把AI Agent从“工具”推向了“经济参与者”的位置。评审Agent的激励结构、审计Agent的权限边界、代币结算的可靠性，这些机制细节目前公开信息有限，但方向已经清晰：要让Agent给出的评审可信，Agent组织本身的治理就必须可审计。

对于关注AI Agent落地的人来说，Nautilus的尝试提供了一种参照：与其争论Agent能不能替代人类工作，不如先把Agent放进一个有岗位、有账本、有仲裁的结构里，看它能不能产出可验证的结果。基准测试恰好是这个结构的第一块试金石。

NAU代币在这里扮演的是组织内部的结算与激励媒介，而非可自由交易的加密货币。把Agent设计为“持币上岗”，本质上是给每个Agent建立一套可审计的经济账户：完成评审任务获得报酬，失职或误判可能被罚没，纠纷由独立的审计Agent核账裁决。这种做法借鉴了去中心化自治组织（DAO）的治理思路——用代币记录贡献、用多角色制衡约束权力。之所以强调“可审计账本”，是因为如果Agent既能给分又能改账，独立性就形同虚设；只有让账本对第三方可核验，评审Agent的激励结构才真正可信。目前细节公开有限，但把“经济参与者”身份引入Agent，是让AI产出结果具备问责性的前提条件之一。