Claude Haiku 5.5 对决 GPT-6 Luna：同价不同费的智能体编码实测

两个同样标价每百万输入 token 0.10 美元、输出 0.50 美元的小模型，跑完同一套智能体编码基准后，账单却相差 3.6 倍。这就是 LeanZero 用自家两套 agentic 基准测试 Claude Haiku 5.5 与 GPT-6 Luna 得出的核心反差：标价一样，实付天差地别，而质量上 Haiku 两场全胜。

这篇文章拆解一个被厂商宣传图掩盖的事实——贴纸上的价格不是智能体的价格。

两套基准，Haiku 两战全胜

测试在两套自动化基准上进行，均通过 OpenRouter 驱动 goose（Block 开源智能体的一个分支），给定 150 次调用预算，全程无人工干预。

在 Forge 1.0（一个无联网环境下构建的 Atlassian Forge 应用）上，Haiku 拿下 0.9661，Luna 仅 0.395。Haiku 在 31 次运行中排第四，距离更大的 Claude Opus 5.5 仅差 0.0106。在 Gauntlet 7.2（一个支付类应用）上，Haiku 得 0.661，Luna 为 0.4797。

每套基准由数百个自动化检查组成，分为存储、UI、3D 交互等若干层级。层级分数占总分的 88%（文中称为核心分），其余 12% 是「卓越度」，主要衡量经济性——即应用消耗了多少 API 调用。一个「critical」失败会把整轮分数乘以 0.6，而「band」则是一组必过检查，失败会把整轮封顶在 0.699 或 0.799。

作者特别强调一个贯穿全文的警示：每个模型在每个榜单上只跑了一次，单次运行无法把模型实力和运气分开，Forge 构建中一个早期决策就可能让整轮跨越一个 band。所有结论应读作「这些运行里发生了什么」，而非「关于模型的定律」。

goose 是 Block（前 Square）开源的智能体框架，设计目标是让 LLM 能够自主完成多步骤的软件开发任务。它通过工具调用（shell 命令、文件读写、API 请求等）让模型与真实环境交互，并将对话历史完整保留在每次请求的 prompt 中——这一设计决策正是本文成本差异的技术根源。OpenRouter 则是一个统一 API 网关，允许开发者用同一套接口调用来自 Anthropic、OpenAI 等不同厂商的模型，并提供请求级别的 token 用量遥测，这使得跨模型的成本对比成为可能。Atlassian Forge 是 Atlassian 官方推出的 serverless 应用开发平台，允许开发者在 Jira、Confluence 等产品上构建定制功能。它有严格的沙箱限制——无法访问外部网络、依赖声明必须在 manifest 文件中提前注册——这使得「无联网构建」和「manifest 完整性」成为模型能力的真实考验，而非人为加难。

同样的标价，3.6 倍的账单

两个模型的标价完全一致：输入 0.10 美元/百万 token，输出 0.50 美元/百万 token，缓存读取 0.01 美元。但 Haiku 的两次运行账单合计 1.62 美元，Luna 只有 0.46 美元。

关键差异藏在价格台阶里。Anthropic 的定价页明确写道：当一个请求的 prompt 超过 10 万 token，价格会跳到 0.50/2.50 美元，缓存读取涨到 0.05 美元——且整条请求都按高价计费，哪怕部分是缓存命中。而 Luna 的台阶设在 27.2 万 token，起步晚得多。Haiku 5.5 还是当前唯一一个被 Anthropic 排除在「全 100 万 token 标准定价」之外的 Claude 模型。

由于 goose 每次调用都会把整段对话重发一遍，prompt 只增不减。在 Gauntlet 运行里，Haiku 的 39 次调用中有 24 次越过 10 万线，承载了 88.1% 的 prompt token；Forge 运行里 72 次调用有 40 次越线。

作者用遥测数据按 Anthropic 两档价格重新计价，模型误差在 5.5% 以内。结论是：如果没有这个台阶，同样的调用在 Gauntlet 约 0.30 美元、Forge 约 0.19 美元，与 Luna 的 0.23、0.22 美元基本持平。真正拉开差距的不是 Haiku 话多，而是那道提前到来的收费站。

一个 bug 制造的悬崖

Gauntlet 图表在第 16 次调用处有一道陡崖——prompt 从 57,094 token 一跃到 148,478 token。原因是 Haiku 用一条 shell 命令链起了十四个 curl 调用测试自己的服务，输出高达 188,758 字节但只有 14 行。goose 的 shell 工具限制 5 万字节，但它的预览逻辑按行数计数，14 行低于 50 行阈值，于是提示「超限」却把完整内容原样塞了回去。

作者坦承这是自家 goose 的 bug，已提交修复。按重新计价模型估算，若正确截断，这轮运行会从约 1.15 美元降到约 0.48 美元。这是难得的透明：承认测评工具本身的缺陷放大了差距。

这里的「价格台阶」是 LLM API 定价中一种常见但较少被讨论的机制：当单次请求的 prompt 长度超过某个阈值时，整条请求会按更高的单价计费，而非仅对超出部分加价。Anthropic 对 Claude Haiku 5.5 设置的台阶位于 10 万 token，超过后输入价格从 0.10 美元涨至 0.50 美元、输出从 0.50 涨至 2.50 美元（5 倍）。这一设计的商业逻辑通常是：超长上下文对推理硬件（尤其是 KV Cache 显存）的压力非线性增长，高价反映了更高的计算成本。对于智能体任务而言，由于 goose 这类框架采用「全量重发对话历史」的设计，prompt 会随调用次数单调递增，一旦越过台阶便很难退回，后续每次调用都将持续按高价计费，形成类似「收费站之后全程高速收费」的效果。

这个 bug 揭示了智能体评测中一个普遍性问题：工具输出截断策略对成本和行为的影响远超直觉。goose 的 shell 工具设有 5 万字节的硬性上限，但其预览逻辑用「行数」而非「字节数」来判断是否需要截断——14 行的输出被判定为「短」，于是 188,758 字节的完整内容被原样注入 prompt，导致 prompt 规模瞬间膨胀约 2.6 倍。这类「单位不一致」的 bug 在工程中极为常见，却在评测场景下会被显著放大：一次越界会把后续数十次调用全部推入高价区间。作者选择公开这一缺陷并量化其影响（成本从 ~1.15 美元降至 ~0.48 美元），这种透明度在商业评测报告中实属罕见，也是读者判断结论可信度的重要依据。

Forge 上 0.9661 对 0.395：差距不在表面

Forge 1.0 要求构建一个真实的 Atlassian Forge 应用，核心是记录每个 issue 进出活跃 sprint 的「scope ledger」，并在无联网环境下构建。模型对 Forge 的全部认知都得自带。

Haiku 的应用 66 个检查里只有两个低于 1.0，且都是经济性问题，其余核心检查全满——与 Opus 5.5 的核心分完全相同。两者 0.0106 的差距几乎全来自 backfill 多调用了两次 Jira。

Luna 的表现则暴露了 Forge 的真正难点。它的实时账本写得近乎完美：22 条实时事件行全对，28 次读取全部走正确的 sprint 索引。但它从未导入历史——一个 sprint 中途安装的应用必须在首次调度运行时回填过去的变更，而 Luna 的账本在首轮后记录了 0 条、共 62 条历史变更一条没进。

这个 backfill 检查同时是一个标注为「数据丢失——变更静默缺失」的 critical，直接把整轮乘以 0.6。Luna 乘数前得 0.6583，乘数后变成 0.395。

作者查遍了 Luna sprint 弹窗的八张截图，Source 列每一行都写着「event」，而 Haiku 的全写着「reconcile」——一个只认实时事件、一个真正回放了历史。

Manifest 缺了两样东西

Luna 的 manifest 有两个运行时才会咬人的问题：缺少列出 sprint issue 的 Jira Software 调用所需的 scope，站点以 401 回应；以及代码调用了 @forge/llm 却没声明 llm 模块，Forge 直接拒绝该调用，导致它的解释功能得了 0 分。

有意思的是，Luna 的 UI 反而更漂亮——卡片、实时指示灯、清晰图例，视觉层得 1.0，与 Haiku 持平。但功能层 Luna 只有 0.48，Haiku 1.0。好看的外壳没能补上缺失的历史。

「scope ledger」（范围账本）是这道 Forge 题目的核心难点，它要求应用追踪每个 Jira issue 进出活跃 sprint 的全部历史——不仅要响应实时的 webhook 事件，还要在应用首次安装时主动回填（backfill）安装前已发生的所有变更。这对模型来说是一个需要理解「事件溯源」设计模式的任务：实时路径与历史重放路径是两条不同的代码逻辑，遗漏后者的应用在功能上看起来「正常运行」，却会在第一次历史查询时暴露数据空洞。Luna 的截图证据（Source 列全为「event」而非「reconcile」）表明它只实现了前者，这种「看起来能跑、实则静默丢数据」的失效模式在评测中被标注为 critical 并非过于严苛——在真实支付或项目管理场景中，静默的数据缺失往往比显性报错更危险。

其他基准怎么说

多数独立榜单指向同一方向：Haiku 质量更高、每任务更贵。

在 Vals AI 的 Terminal-Bench 4.0 上，Haiku 得 35.35%、每测试 3.05 美元，Luna 13.64%、0.35 美元——8.7 倍成本换 2.6 倍分数。Artificial Analysis 的智能指数将 Haiku 置于 43、Luna 38，并指出 Haiku 每任务约用 16.2 万输出 token，Luna 约 5 万。在 WebDev Arena 上两者 1587 对 1581，区间重叠，算打平。

不过 Luna 也有领先项：AA 的知识准确率 Luna 44% 对 Haiku 36%，AutomationBench 上 Luna 也领先（AA 认为 Haiku 受过度拒答拖累）。各家厂商自家宣传图用的 harness、effort、任务各不相同，难以同台比较。

必须说清楚的局限

作者列出了一长串「可能错在哪」，这份诚实值得单独一提：

• 两组运行不在同一环境：Luna 早一周构建，用的是旧版 goose、不同机器、不同 scorer 版本，Haiku 赢下的几项计时检查是在不同 Mac 上测的。
• Luna 的构建文件存在作者够不到的笔记本上，因此它的 draft 为何没出现、Forge token 数、停止原因都无从得知。
• 账单是 OpenRouter 记录的下限，重新计价是模型而非实账。
• Forge 1.0 有已确认的 scorer 缺陷，会抬高 Haiku 对 Sonnet 的领先，并可能让前五名的排序不可靠——包括 Haiku 的第四名。但这些缺陷不影响决定 Luna 分数的 backfill 失败。
• Forge 1.0 已冻结，更难的 Forge 2.0 已启动，Haiku 和 Luna 都还没有新结果。

诚实的结论：按「每个可用应用的账单」算钱

在这些运行里，Haiku 5.5 是两者中更好的 agentic 构建者，Forge 上更是毫无悬念——它用 0.52 美元通过了 Opus 5.5 通过的每一项核心检查，而 Opus 花了 4.26 美元。Luna 建的应用更好看，却从未导入 sprint 历史。

挑便宜模型自主构建，作者会选 Haiku，但要做两件事：真正限制工具输出，因为一个超大结果会把后续每次调用都推过线；以及按标价的三倍预算，除非已实测智能体稳定低于 10 万 token。要比的数字是「0.52 美元建成一个可用 Forge 应用」，不是「每百万 0.10 美元」。

如果需要成千上万次聚焦的小调用——分类器、路由器、单 diff 评审——则值得先试 Luna，它在 100k 以下同价，但每次调用输出约为 Haiku 的十分之一。这套测试没覆盖小调用场景，它展示的只是：独自面对一整个应用时，Luna 在一个上用光了所有调用、在另一个上没导入历史。

两个同价模型，智能体实际运行成本差 2.3 到 4.8 倍——这才是宣传图不会告诉你的那一行。