Agent Trials
一个用于测试Coding Agent真实能力的开源小工具，通过指向任意仓库并用JSON定义任务，在一性性副本上运行Agent CLI，还原验证脚本后执行，提供可复现的证据而非排行榜。
时间轴 (近 90 天)
Agent Trials 是由 Reddit 开发者（GitHub 用户 princejain756）创建的开源工具，用于在开发者自己的仓库上运行 Coding Agent 进行评测。
Agent Trials 在项目的每个 Agent CLI 上运行一次性副本，而不是在原始仓库上直接操作。
Agent Trials 的核心设计是：Agent 运行完毕后，验证脚本会从源仓库重新还原后再执行，以防止 Agent 修改验证脚本作弊。
Agent Trials 的初始版本没有验证脚本还原步骤，作者在审计后将其修复。
Agent Trials 明确不是排行榜，而是一个烟雾测试，其分数和中位数在不同运行之间会波动。
Agent Trials 主要用于解决两个问题：抓住 CLI 退出码为 0 但实际什么都没做的假成功，以及观察成本漂移。
在一个包含三个任务（fix-clamp、divide-guard、slug-test）的测试中，Opus、Sonnet 和 Haiku 三个模型都得到了 3/3 的分数。
在 divide-guard 任务上，Haiku 耗时 90.5 秒，Opus 耗时 22.8 秒，Haiku 比 Opus 慢了将近四倍。
Agent Trials 具有零依赖特性，clone 下来即可运行，不需要安装额外包。
Agent Trials 的任务定义使用纯 JSON 格式，人可读且机器可解析。
还有 2 条时间轴事件
全部知识事实 (12)
Agent Trials 是由 Reddit 开发者（GitHub 用户 princejain756）创建的开源工具，用于在开发者自己的仓库上运行 Coding Agent 进行评测。
50%待验证Agent Trials 在项目的每个 Agent CLI 上运行一次性副本，而不是在原始仓库上直接操作。
50%待验证Agent Trials 的核心设计是：Agent 运行完毕后，验证脚本会从源仓库重新还原后再执行，以防止 Agent 修改验证脚本作弊。
50%待验证Agent Trials 的初始版本没有验证脚本还原步骤，作者在审计后将其修复。
50%待验证Agent Trials 明确不是排行榜，而是一个烟雾测试，其分数和中位数在不同运行之间会波动。
50%待验证Agent Trials 主要用于解决两个问题：抓住 CLI 退出码为 0 但实际什么都没做的假成功，以及观察成本漂移。
50%待验证在一个包含三个任务（fix-clamp、divide-guard、slug-test）的测试中，Opus、Sonnet 和 Haiku 三个模型都得到了 3/3 的分数。
50%待验证在 divide-guard 任务上，Haiku 耗时 90.5 秒，Opus 耗时 22.8 秒，Haiku 比 Opus 慢了将近四倍。
50%待验证Agent Trials 具有零依赖特性，clone 下来即可运行，不需要安装额外包。
50%待验证Agent Trials 的任务定义使用纯 JSON 格式，人可读且机器可解析。
50%待验证Agent Trials 支持任何提供 CLI 接口的 Coding Agent。
50%待验证Agent Trials 与 SWE-bench 是互补关系：前者回答特定项目上 Agent 能否干活，后者回答模型在通用编程任务上的能力排名。
50%