AI Agent Harness详解：66款框架如何重塑智能体能力

什么是AI Agent Harness？

语言模型外层的“套具”（harness）是否真的决定了智能体能做什么？这是理解当前AI智能体生态的关键问题。据YouTube技术分析视频的梳理，harness一词源自古法语，原指连接役畜与货车的挽具，后来被借用到软件测试（test harness）和机器学习评估（evaluation harness）领域。在智能体研究中，这个词至今没有统一标准。Ethrobics的文档将其定义为“将语言模型转变为有能力的编程智能体的工具、上下文管理和执行环境”；Lenshane则更彻底，认为harness是“模型本身之外的一切代码、配置和执行逻辑”。

2026年6月的一篇综述给出了更结构化的框架：智能体等于基础模型加上执行harness，而harness可拆分为六项运行时职责——观察、上下文、控制、动作、状态，以及带治理的验证。另有一篇单作者预印本提出了更严格的判定条件：一个系统要被称为agent harness，必须在运行时同时具备交错进行推理、行动与观察的循环，允许模型感知并改变环境的工具接口，决定什么进入和离开模型窗口的上下文管理，以及控制时间限制与确定性动作的机制。按照这个定义，智能体框架（framework）、软件开发工具包（SDK）、内联代码补全、评估harness、固定流水线编排器都被排除在外。

同一模型，不同harness：受控实验中的能力差异

最清晰的证据来自SWE-agent论文在NeurIPS 2024上的受控对比。同一个GPT-4 Turbo模型，在SWE-bench Lite的300个任务子集上，仅用普通Linux shell时解决率较低，而配备专门设计的智能体-计算机接口后解决率明显提升，相对增幅达64%。但反例同样有力：Agentless采用固定的三阶段流水线、没有智能体循环，却在同一基准上取得了测试中的最佳结果，每问题成本仅70美分。按照前述预印本定义，Agentless根本不是harness——更多机械装置并不自动等于更好。

更大规模的排行榜提供了观察性证据。TerminalBench 2.0包含89个任务、每个运行五次，同一模型在不同harness下的得分差异显著。以GPT-5.3 Codex为例，参考智能体与Sage Agent之间的分数差距明显；Claude Opus 4.6在不同harness下的分数跨度更大。但这些差距有三重限制：各条目的提示词、版本和预算不同；MetaHarness是在该基准本身上优化的；重复运行同一条目的中位波动约为4.5个百分点。不过，共享任务上的配对比较仍使主要差距清晰远离零，例如MetaHarness对参考智能体在Opus 4.6上的配对优势区间为6.5到20.7个百分点。

普林斯顿团队对9个模型、9个基准、21730次运行的分析报告指出，脚手架会同时显著改变成本和准确率；在36个模型-智能体-基准组合中，有21个在提高推理强度后准确率不升反降或持平。LangChain的实验也显示同一方向：模型固定时，其编程智能体从较低水平提升到较高水平，而全程使用最高推理设置反而得分更低。

SWE-bench Lite 是 SWE-bench 的精简版本，从原基准中筛选出 300 个适合快速评测的 GitHub issue 修复任务，旨在降低计算成本的同时保留任务多样性。原版 SWE-bench 包含 2294 个来自 12 个流行 Python 仓库的真实 issue，要求模型生成补丁并通过仓库原有测试套件验证。SWE-bench 及其 Lite 变体之所以成为智能体评测的标杆，是因为它同时考察代码理解、跨文件定位、补丁生成和测试反馈利用等复合能力，且任务来自真实开源项目、具有明确的通过/失败判定。SWE-agent 正是在这一基准上验证“智能体-计算机接口”设计价值的；而 Agentless 用固定流水线在 Lite 上取得有竞争力的结果，也成为质疑复杂 harness 必要性的关键证据。

值得补充的是，SWE-bench 系列本身也存在争议：任务泄漏、测试用例过严或过松、以及对训练数据污染的担忧，使得其分数需谨慎解读。后续出现的 SWE-bench Verified 由人工核验筛选出 500 个高质量任务，正是为缓解这些问题。

多智能体并非万能：来自独立研究的警示

Anthropic报告称，以Claude Opus 4为主导、Claude Sonnet 4为子智能体的系统，在其内部研究评估上比单智能体Opus 4高出90.2%，但token消耗约为聊天的15倍。这是厂商结果，尚未被独立复现。

一项独立研究在6个基准、5种架构、3个模型家族上运行了260种受控配置。多智能体的效果从在可良好分解的任务上大幅正向，到在顺序规划任务上显著负向，跨度极大。当单智能体得分已经较高时，增益会收缩；没有中心验证时错误被放大的倍数远高于有验证时。另一项对1600多条多智能体轨迹的分析归纳出三大类共14种失败模式。

“编排器”（orchestrator）一词在这里存在歧义：一种用法指由中心模型决定子任务的orchestrator-workers设计，而预印本将orchestrator保留给固定流水线——后者按定义不属于harness。

“可良好分解的任务”与“顺序规划任务”的区分是多智能体效果分化的核心。可分解任务指子问题之间依赖弱、可并行处理的工作，例如在大型代码库中同时搜索多个独立模块的缺陷、或对一份文档的多个章节分别做摘要；此时多智能体可通过并行探索扩大搜索覆盖面，中心编排器汇总结果即可获益。顺序规划任务则要求每一步依赖前一步的输出，如多步数学推理、长链条调试或需要严格状态传递的流程编排；子智能体之间的信息传递会引入延迟、上下文丢失和错误累积，协调开销往往超过并行带来的收益。

“中心验证”（central verification）指由一个汇总节点对子智能体输出做一致性检查或测试验证。缺乏这一环节时，某个子智能体的错误会被下游当作事实继续使用，放大倍数远高于有验证时。这解释了为何多智能体系统在开放探索任务上表现亮眼，却在需要精确状态追踪的任务上可能不如单智能体。

66款harness地图：选择标准与成本结构

视频作者构建的66款地图（截至2026年11月1日）采用了明确的入选标准：系统自身文档将其呈现为在计算机上循环行动的智能体，且至少出现在四个来源之一——TerminalBench 2.0排行榜、预印本分类的六个系统、Paperclip和OpenHands的支持智能体列表、或最大平台的原生智能体。另有九款因在多个行业综述中被提及而以较弱标准纳入。

获取模型有四种方式：订阅登录（常通过OAuth，有使用限额）、按token付费的API key、免费路径、或本地模型/自有provider key。约半数harness与厂商模型绑定——Claude Code对Claude、Codex CLI对OpenAI、Antigravity对Google、Meta的MuseCode对MuseSpark。另一半则提供商无关：OpenCode列出75个以上提供商并支持本地模型，Klein、Aider、Goose、OpenHands、Hermes、OpenClaude均接受自有key或端点。

厂商对订阅登录的态度不一。Anthropic文档称OAuth专供Claude Code及其原生应用使用，第三方不得通过免费、Pro、Max或Ultra凭证路由请求。OpenAI文档支持用ChatGPT或API key登录Codex。OpenCode文档称其移除了Claude Pro和Max插件。

成本方面，多数实验室以基础套餐的倍数而非token数来标注限额。Meta的高阶套餐分别给出日常套餐的5倍、20倍和80倍；Kimi给出2倍、5倍、10倍的智能体额度；Grok与Kersher的订阅从Plus档的4倍、15倍到50倍。价格还因国家而异，因此视频中每个价格都标注了来源和日期。

每任务成本的计算公式

token消耗因harness而异，即便同一模型也差别很大。以Claude Opus 4.6为例，某调查表中参考智能体的中位每试输入token数与MetaHarness相差悬殊，按Anthropic标价且不计缓存折扣，每试成本差距明显；除以成功率后，每解决任务成本约为0.97美元对5.46美元，得分更高的harness贵出约5.6倍。视频没有给出订阅与按token计费的严格对比结论，而是提供一个公式：每解决任务成本 = token数 × 价格 ÷ 成功率。订阅只有在使用量符合其限额时才划算。

OAuth 登录与 API key 是两种截然不同的模型访问授权机制。OAuth 是一种委托授权协议，用户通过浏览器在厂商页面登录并授权第三方应用代表自己访问资源，令牌通常与订阅账户绑定、受套餐限额约束，且厂商可随时撤销或限制第三方使用。API key 则是长期有效的密钥，按 token 计费、与订阅体系分离，适合程序化调用和成本核算。

厂商对订阅凭证被第三方 harness 复用的态度差异，本质上是对“订阅制补贴”与“按量计费”两种商业模式的边界划定。Anthropic 明确禁止第三方通过 Pro/Max 凭证路由请求，是为了防止 harness 开发者将订阅额度转售或滥用；OpenAI 允许 ChatGPT 登录 Codex，则将其视为扩大生态的手段。对用户而言，订阅登录成本可预测但受限额约束，API key 灵活但费用随用量波动——这正是“每解决任务成本 = token 数 × 价格 ÷ 成功率”公式需要区分两种路径的原因。

没有唯一最佳harness

对“是否存在最佳harness”这个问题，证据指向三个方向。第一，实验室自家的harness并不自动登顶：在Claude Opus 4.6下，Claude Code的列示分数低于参考智能体Terminus 2，更低于MetaHarness。第二，榜首并非由单一harness占据：镜像排行榜前十中九款是不同的harness。第三，小差距可能是噪声：重复运行同一条目的中位波动约4.5个百分点。

按场景（重构、研究、长时任务）的排名同样不存在，因为没有研究在共同基础上比较不同场景下的harness。可陈述的只是各harness文档中列出的能力：需要免费路径可选Codex免费计划、Antigravity个人免费计划、Cursor有限免费计划、OpenCode和Kilo Code的免费托管模型；需要本地模型可选OpenCode、Aider、Goose、OpenHands、Kilo Code、Hermes Agent和OpenClaude；需要开源许可可在Apache或MIT许可下找到Codex CLI、Gemini CLI、Grok Build、Qwen Code、OpenCode等。

尚待回答的问题

视频列出了若干未被测量的关键问题：harness效应能否在未针对其调优的基准上成立；模型更替后增益是否存活；条目之间的差异中有多少是运行噪声；以及如何在订阅与按token计费之间公平比较成本。那篇为该领域定框的综述将价值评估、安全、泛化、模型与harness协同演化列为开放问题。

证据分级同样重要：受控或经同行评审的工作在这里很罕见，大多数材料是预印本、公开观察数据、厂商报告和文档。排行榜数字的可复现性也值得警惕——镜像排行榜列出142条记录，用官方公开日志只能复现其中40条在半个百分点以内，14条有差异，88条没有公开日志。基准也在快速老化：TerminalBench 2.0论文出现时前沿系统得分低于65%，到5月榜首已达84.7%，评估方已将其归档为饱和。

结论是审慎的：harness设计很可能对结果有大幅影响，但这一效应尚未被干净地测量。