AI编程Harness之战：同模型慢4倍背后的真相

相同模型为何速度差4倍

一位开发者做了一个极具启发性的实验：把完全相同的AI模型，分别送进CloudCode、OpenCode和Pi三个编程工具（Harness）里跑相同任务。结果三者产出的代码diff几乎一模一样——但CloudCode花的时间接近另外两者的四倍。

唯一的变量，是包裹在模型外层的软件。而这层软件，恰恰是你订阅费的真正去向。围绕它，一场"Harness之战"正式打响。

所谓Harness（编程外壳/框架），指的是围绕模型的一切：终端应用、文件与Shell工具、把结果喂回模型的循环逻辑，以及每次会话开场的系统提示词。用一个比喻来说：模型是引擎，Harness是汽车的其余部分。

这一概念源自软件工程中的"test harness"（测试工具框架），原指用于自动化测试的脚手架代码。在AI编程工具语境下，Harness的内涵被大幅扩展，涵盖了从用户界面到模型调用的全部中间层。具体而言，它包括四个关键层次：（1）工具定义层——告诉模型它可以调用哪些文件操作、Shell命令、搜索功能；（2）上下文管理层——决定把多少代码库信息塞进上下文窗口；（3）循环控制层——当模型输出需要执行时，如何把执行结果反馈回去形成"思考-行动-观察"的Agent循环；（4）系统提示词层——在用户开口之前就注入的指令，定义模型的角色、行为边界和输出格式。这四层的设计差异，直接决定了相同模型在不同工具中的表现天差地别。

这里需要特别展开Agent循环的工程实现。当前主流的ReAct（Reasoning + Acting）框架定义了这一循环的基本范式：模型先生成一段推理文本（Thought），然后决定调用哪个工具（Action），工具返回执行结果（Observation），模型基于新信息再次推理。每一轮循环都意味着一次完整的API调用——包含全部上下文历史的重新发送。如果Harness的循环控制设计不够精炼，比如频繁触发不必要的文件读取、目录遍历或重复的代码搜索，就会导致token消耗和响应时间成倍增长。CloudCode花费四倍时间的根本原因，很可能正在于其Agent循环中包含了过多的"探索性"工具调用——它试图更全面地理解代码库，但代价是显著拉长了任务完成时间。

卫冕方是两家模型实验室的"原厂车"：Anthropic的CloudCode和OpenAI的Codex——它们与自家模型深度焊死，装进20到200美元的订阅套餐里出售。挑战者则试图拆掉这道焊缝，代表选手包括开源的OpenCode、黑客风格的OhMyPi，以及闭源的FactoryDroid。

第一回合：固定模型只比外壳

第一回合的规则很硬核：锁死模型，只给Harness打分。 采用TerminalBench测试——把智能体扔进容器化终端，检验真实任务能否完成。

TerminalBench是近期兴起的AI编程能力基准测试之一，区别于SWE-bench等以代码补丁为评判标准的测试，它强调的是端到端的终端环境任务完成能力。测试将AI智能体放入一个容器化（通常基于Docker或类似OCI兼容运行时）的隔离终端环境中，要求它完成真实的开发任务——包括文件操作、包管理、调试、配置修改等。每个测试实例启动一个全新的、预配置的容器镜像，包含特定的操作系统、语言运行时、包管理器和项目代码，这种设计借鉴了CI/CD（持续集成/持续部署）流水线的最佳实践。容器化确保每次测试的环境完全一致，消除了"在我机器上能跑"的变量。这种测试设计的核心哲学是：现代AI编程助手不仅需要写代码，更需要像真正的开发者一样操作整个开发环境——理解错误信息、修改配置文件、安装依赖、排查环境问题。

给CloudCode和OpenCode喂同样的Cloud Opus模型，两者得分差距在半分以内，落在误差范围之内。这意味着，原厂Harness的"独门魔法"，免费开源的OpenCode几乎全盘复现了。

FactoryDroid走得更远：跑同样的Opus模型，其提交成绩为69.9%，而CloudCode为58%。差距显著，但要注意这是厂商自行提交的数据。而排行榜绝对榜首仍属于搭载OpenAI最新模型的Codex——不过这更像是"模型的胜利"，而非Harness的胜利。

第一回合，挑战者胜。

第二回合：开工前就烧掉的Token

这一回合的赌注是：Harness在你真正开始工作"之前"和"周围"花掉了多少钱。

Token是大语言模型处理文本的基本计量单位，大约每个英文单词对应1-1.5个token，中文每个字约1.5-2个token。当前主流模型的API定价按输入/输出token分别计费，且存在显著的不对称性：输出token通常比输入token贵3-5倍，因为文本生成需要逐token进行自回归推理，计算密集度远高于输入处理。例如Claude Sonnet的输入价格约为每百万token 3美元，输出约15美元。系统提示词（System Prompt）是在每次对话开始前注入的隐藏指令，用户看不到但模型必须处理。关键在于：这些token在每一轮对话中都会被重复发送。如果一个Harness的系统提示词长达33,000 tokens，按照一个工作日可能进行50-100轮对话计算，仅系统提示词就会消耗330万-660万输入token，成本可达数十美元。

值得注意的是，部分API提供商已推出"prompt caching"（提示词缓存）机制来缓解这一问题。Anthropic的缓存功能可将重复出现的前缀内容成本降低90%，但前提是Harness的实现需要正确触发缓存——要求每次请求的前缀部分完全一致。如果Harness在系统提示词中动态插入了时间戳、文件列表等变化内容，缓存就会失效，全部token都按原价计费。这意味着Harness的工程实现细节直接影响实际成本，即使标称的系统提示词长度相同。

背景是本周登上Reddit r/technology热榜的一条新闻——亚马逊让Cloud处理一项琐碎编码任务，结果超支860%，烧掉180万美元。这一事件折射出企业级AI编程部署的成本失控风险。据报道，亚马逊内部团队由于缺乏有效的token消耗监控和成本上限机制，实际支出达到预算的860%。这暴露了一个行业性问题：AI编程工具的成本模型极不透明。传统SaaS工具的成本是可预测的月费，但AI智能体的成本取决于模型调用次数、上下文长度、工具调用循环深度等多个动态变量。当Harness设计不够节制——比如每次对话都塞入大量上下文、频繁触发多轮工具调用循环——成本就会以指数级增长。更危险的是，Agent循环的深度在任务开始前无法准确预估：一个看似简单的bug修复，可能因为模型的"探索性"行为触发数十轮文件读取和Shell命令执行。

一项登上Hacker News首页的日志研究，测量了每个Harness在读到你的提示词之前发送了多少Token：

• OpenCode：约7,000 tokens
• CloudCode：33,000 tokens
• Pi：整个系统提示词仅约1,300 tokens

开头那位开发者追踪发现，CloudCode的大部分开销来自它在每次会话开场时详细描述自己的27个工具。他甚至给三个Harness赋予了"性格"：Pi爱推理，OpenCode善委派，而CloudCode热衷于探索你的代码库——也许探索得有点过头。

Hacker News上更阴暗的解读是：CloudCode烧更多Token，是因为Anthropic本就为烧Token而设计。无论动机如何，如今已催生出一个小型产业——各种"会话搬运工"和"额度触发切换"工具，唯一的职责就是给CloudCode和Codex省着用。

第二回合，挑战者胜，Pi戴上效率桂冠。

第三回合：模型选择自由

模型选择是挑战者的主场。OpenCode把模型当作一个配置项——托管的或本地的，超过75家供应商，会话中途可随意切换。

最有说服力的案例是一位开发者：他在8小时飞行途中完全离线，用OpenCode配合MacBook上的QWEN模型工作。QWEN（通义千问）系列模型由阿里巴巴开发，其编程专用版本QWEN-Coder在多项基准测试中表现突出，且完全开源免费（采用Apache 2.0许可证，允许商业使用）。这位开发者借助Ollama——一个将复杂模型部署简化为单条命令的开源框架——在本地运行模型。Ollama暴露了一个兼容OpenAI API格式的本地端点（默认运行在localhost:11434），这意味着任何支持OpenAI API的工具都能几乎零配置地接入本地模型，只需将API地址从api.openai.com改为localhost即可。他的评价是——它替代不了前沿模型，但它理解整个代码库，让他在没有网络时也能持续交付。

本地运行模型的核心优势有三：（1）数据完全不出机器，满足最严格的隐私合规要求（如HIPAA、GDPR、或政府安全级别要求）；（2）无网络延迟，适合离线场景；（3）边际成本仅为电费和硬件折旧。但代价是模型能力通常落后于云端前沿模型一到两代。具体到硬件门槛：QWEN-Coder的7B参数版本约需8GB显存或统一内存，可在配备Apple Silicon的MacBook上通过4位量化流畅运行，生成速度可达每秒20-40 tokens；而70B版本则需要48-64GB统一内存或多张高端GPU。量化技术——将模型权重从16位浮点压缩到4位整数——是本地部署的关键使能技术，代价是约5-10%的精度损失，但对编程辅助场景的实际影响有限。

OhMyPi驱动40多家供应商，连正襟危坐的Droid也允许自带密钥、指向Ollama。就连卫冕方Codex都推出了运行本地开源模型的官方选项——OpenAI加入了它本该抵御的潮流。 CloudCode则处于中间地带：Ollama现已支持Anthropic的API格式，接入本地模型只需两个环境变量（ANTHROPIC_BASE_URL和ANTHROPIC_API_KEY），但Anthropic官方文档明确表示不支持非Cloud模型，一旦工具调用出错，只能自求多福。

第三回合，挑战者胜，Codex反戈一击助攻。

第四回合：信任无人全身而退

这是没人能干净离场的一轮。

Anthropic的黑历史：当开发者试图把Cloud订阅通过OpenCode路由时，Anthropic封锁了服务器端、将禁令写进条款，并向开源项目发出法律函件。Hacker News最高赞评论称之为"毫无必要的糟糕公关"。这一事件的技术背景是：Cloud订阅用户通过Max套餐获得的是远低于API标准定价的模型访问权限（本质上是包月不限量），Anthropic担心第三方Harness会利用这一价差进行套利——即用户支付200美元订阅费，却通过第三方工具获得价值数千美元的API调用量。这种"订阅套利"行为如果大规模发生，将直接威胁Anthropic的营收模型。

挑战者的问题只有两天新：OpenCode的付费Go套餐在发布当天悄悄撤下了"零数据保留"的措辞，同时加入了一个中国托管的DeepSeek模型，却未告知任何人。社区在数小时内就抓包了——附上了文档前后对比引用和对应的commit哈希。联合创始人解释称新模型尚无保留协议，且当天也发布了逐模型的隐私表格，这或许属实，但这种沉默确实"有点难看"。这一事件揭示了AI工具隐私承诺的脆弱性：当工具支持多个模型供应商时，每个供应商的数据处理政策可能截然不同——有的承诺零保留，有的可能将数据用于模型训练，有的受不同司法管辖区的法律约束。用户需要的不是一个笼统的"隐私保护"承诺，而是逐供应商、逐模型的透明数据流向声明。

Droid是闭源产品，最亮眼的基准数字是自己提交的；OhMyPi整个项目几乎压在一位维护者身上。这场对决里唯一你能亲自验证的隐私政策，是跑在你自己硬件上的本地模型。

本回合不计分。

第五回合：账单与成本对决

论订阅，冠军赢得漂亮。200美元的CloudMax套餐所覆盖的智能体工作负载，按API价格计算每月要四位数——这正是Anthropic不允许该订阅流经他人Harness的原因。在OpenCode里跑Cloud，你得为同样的模型付全额API价格。

这里的经济学值得细算：CloudMax的200美元月费如果换算成API调用，以Claude Opus的定价（输入$15/百万token，输出$75/百万token）计算，一个重度用户每天可能消耗500万-1000万token（包括大量的系统提示词和上下文重发），月度消耗轻松突破1.5亿token，折合API费用超过2000美元。这意味着订阅用户实际享受着10倍以上的价格折扣，而这个折扣的前提是用户被锁定在Anthropic的原厂Harness中。这就是为什么"订阅套利"对Anthropic如此敏感——如果第三方Harness能够接入这一折扣价格，Anthropic的API收入将遭受直接冲击。

挑战者则从市场另一端反击：OpenCode本身免费，其Go套餐每月10美元捆绑高吞吐开源模型，Droid起步20美元，而本地路线把边际成本降到只剩电费。

结论很清晰：如果你一整天都跑一个前沿模型，订阅制赢；如果是混合工作负载、廉价模型，或代码不能出楼的场景，挑战者的价格碾压性地低。

本回合各得一分。

最终判决与选型建议

最终比分：挑战者3分，卫冕方1分，外加一个作为警示标签的"信任回合"。

当模型被锁定时，开源Harness已经在你使用期间追平甚至击败了原厂车。模型发布方如今开始宣称"Now on OpenCode"，就像当年App宣称"Now on iPhone"一样。这一现象标志着AI编程工具生态正在经历类似智能手机早期的平台化转变——模型提供方开始将Harness视为分发渠道而非竞争对手，正如当年的内容提供商将App Store视为触达用户的必经之路。

唯一的阴云是：挑战者菜单的低价端严重依赖中国开源模型，而华盛顿正在盯着这些模型——廉价货架随时可能变薄。2025年以来，围绕DeepSeek、QWEN等中国开源模型的监管讨论显著升温。美国众议院已提出法案拟禁止联邦设备使用DeepSeek，多个州政府也已发布类似禁令。核心争议在于：开源模型的权重虽然公开可审计，但其训练数据的来源、模型中可能存在的隐性偏见或后门，以及模型提供方的数据收集行为，都难以被完全验证。

但这里需要做一个关键区分：本地部署开源模型（将权重下载到本机运行）与通过API调用模型服务，在安全和隐私层面是截然不同的场景。前者数据完全不出机器，模型推理过程完全在本地完成，即使模型本身存在某种"偏见"，也不存在数据泄露的物理通道；后者则需要将代码发送到远程服务器，受模型提供方的数据处理政策和所在司法管辖区法律约束。当前的监管讨论往往未能清晰区分这两种使用方式，存在"一刀切"误伤本地部署场景的风险。

这对AI编程工具生态的影响是深远的——挑战者阵营的低价策略严重依赖这些免费或低成本的中国开源模型，一旦监管收紧，整个"廉价货架"可能瞬间变薄，迫使开发者回流到价格更高的西方模型（如Meta的Llama系列、Mistral等欧洲模型）或订阅制方案。不过，开源AI模型的全球生态正在多元化——法国的Mistral、阿联酋的Falcon、以及Meta持续开放的Llama系列，都在为"廉价货架"提供替代供给。

最终选型取决于你是哪类开发者：

• 想要模型自由、逃离速率限制、或代码留在本机：本周就把OpenCode装进终端，同时保留一把前沿模型密钥应对硬骨头。
• 运营工程组织：关注Droid。
• 喜欢锋利甚至略带危险的工具：关注OhMyPi。

模型每个月都在互相反超，但Harness才是你的长期关系。

核心要点