Agent Harness
连接大模型和工具的执行框架,负责任务编排、状态管理和错误处理
核心事实
时间轴 (近 90 天)
对于构建 Agent 应用的团队,建议根据自身业务约束设计轻量级的专用 Harness,而非在通用框架上堆叠补丁。
对于企业级 Harness 而言,trace 不仅是调试工具,也是合规审计、成本归因和离线评测的数据来源。
断点续跑与幂等性是 Agent 多步骤执行中容易被忽视但至关重要的工程问题;成熟的 Harness 通常需要引入幂等键、事务性状态快照和检查点机制。
Agent Harness指承载大模型并为其提供工具调用、记忆检索、会话管理等运行时能力的外壳;Claude Code、Codex CLI、Waku Agent都属于这一类。
EvoX提出“The Second Policy”观点:把Agent Harness视为一种操作策略(Operational Policy),与基础模型自身的语义策略(Semantic Policy)形成互补。
实验覆盖五个基准、六个基础模型和六个Agent Harness,在691个共同的任务—模型组合上,EvoX取得了56.2%的最高数值成功率,比其他五个Harness的平均值高出约3.0个百分点。
同一个基础模型搭配不同Harness可能产生显著不同的任务成功率,Harness因此成为独立于模型权重之外的性能变量。
不同厂商的Agent Harness设计差异很大,同一个底层模型搭配不同Harness实际表现可能相差悬殊。
一位开发者通过为失败案例打标签并分析分布,发现80%的失败集中在工具调用参数错误上,优化工具描述和参数校验后整体成功率显著提升。
规划器存在设计权衡:采用ReAct式的逐步推理,还是先规划后执行;工具层存在静态注册与动态发现之间的权衡。
还有 40 条时间轴事件
全部知识事实 (20)
Agent Framework 更像编程库,提供对 LLM 的抽象、工具原语、记忆和编排能力,但需要开发者自己实现工具调用循环、会话管理、网络重试等细节;Harness 则是开箱即用的完整执行环境。
80%已验证Agent Harness指包裹在大语言模型外围、负责协调模型与外部世界交互的整套工程系统
80%已验证Harness是Agent运行所依赖的工具集合与运行环境,是让AI能够执行操作的底层基础设施
80%已验证智能体框架(Agent Harness)不替代核心模型的推理能力,而是在模型之外构建运行时管理壳,负责工具调用、状态管理、错误恢复等横切关注点
80%已验证Harness 的设计质量直接决定了同一模型在不同系统中的表现差异。
75%已验证Agent harness 不同于 prompt 工程:后者只影响单次模型输入,而 harness 决定 agent 在多轮、多工具场景下如何持续运转。
75%已验证Agents API 的技术底座由 Codex harness 提供支持
75%已验证Harness概念源于软件工程中的Test Harness(测试脚手架),在AI Agent语境下扩展为让Agent持续、循环、可控运行的系统性工程
75%已验证Agent Harness(智能体线束)是一套围绕Agent构建的工程化约束框架,概念借鉴自汽车工程中的线束系统
75%已验证在AI编程领域,Harness指包裹在底层大模型之外的运行时框架,负责管理上下文、工具调用、状态保持、错误重试与多步任务分解,不训练新模型。
65%已验证许多智能体框架在设计时刻意将最终评估数据与优化循环隔离,智能体只能看到训练和验证信号,无法直接接触测试集
65%已验证Human-in-the-loop 允许在 Agent 执行流程的特定节点暂停等待人工审核或干预后再继续,并依赖持久化层保存暂停时的完整状态以从断点恢复执行
65%已验证Harness首次运行会要求填入DeepSeek的API密钥,但用户可在设置中接入其他提供商,包括通过OpenCode接入GPT系列模型和本地Ollama
65%已验证工具调用(Function Calling/Tool Use)是Agent系统的核心能力,允许模型动态调用搜索引擎、代码解释器、数据库查询、API接口等外部资源
65%待验证Superpowers本质上是一个专为Coding场景设计的轻量级Agent Harness实现
85%待验证上下文管理层处理长任务中的信息压缩、历史裁剪与记忆检索,以避免超出模型的上下文窗口
60%待验证在Agent语境下,Harness是连接大语言模型与外部世界的中间层,负责上下文窗口管理、工具调用序列化与反序列化、多轮对话状态维护以及沙箱环境生命周期管理
60%待验证断点续跑与幂等性是 Agent 多步骤执行中容易被忽视但至关重要的工程问题;成熟的 Harness 通常需要引入幂等键、事务性状态快照和检查点机制。
50%待验证对于企业级 Harness 而言,trace 不仅是调试工具,也是合规审计、成本归因和离线评测的数据来源。
50%待验证对于构建 Agent 应用的团队,建议根据自身业务约束设计轻量级的专用 Harness,而非在通用框架上堆叠补丁。
50%