Harness：让大模型智能体从Demo走向生产的操作系统

什么是Harness？一个形象的比喻

在大模型开发领域，Harness是一个日渐重要却又容易被误解的概念。有人把它当作某个具体工具，也有人认为它是某种框架。但更准确的定位是：Harness不是单一技术，而是一整套将大模型智能体从「随机系统」改造为「稳定系统」的技术集合。

用一个通俗的比喻来解释：初代大模型就像一位「东北于姐」，在功能上完全具备一个智能体应有的能力，但你未必愿意直接使用它。而通过一系列「整容与雕琢」，把它变成「刘亦菲」——功能没有增强，但可用性、吸引力大大提升。Harness做的正是这件事：它不增强大模型的核心能力，而是在核心能力之上做一层精细的包装与工程化改造。

如果把大模型比作汽车的发动机，那么Harness就是让这台发动机真正能上路、能过弯、能稳定行驶的整套驱动系统。

一切问题的起点：长上下文腐败

要理解Harness为何诞生，必须回到大模型的第一性原理——一切都是token。无论输入的是PDF、文章还是工具调用结果，对大模型而言都是token序列；输出同样是token序列。

但大模型本质上是无状态的，它「活在当下」，不会记住之前的对话。要实现连续对话，就必须把历史记录全部拼接后重新输入。这就引出了核心矛盾：长上下文问题。

上下文腐败是普遍现象

当前主流基座模型（DeepSeek、通义千问等）的发展方向之一，就是支持更长上下文、让token更便宜更快。但上下文并非越长越好。研究和实测都表明，随着序列长度增加，模型性能会显著下降——这被称为「上下文腐败」（Context Rot）。

上下文腐败这一现象的根源在于Transformer架构的自注意力机制。在标准的多头自注意力中，每个token需要与序列中所有其他token计算注意力权重，计算复杂度为O(n²)。当序列长度n急剧增大时，softmax归一化导致每个token分配到的注意力权重趋近于均匀分布，模型难以聚焦于真正相关的信息片段。此外，位置编码（如RoPE旋转位置编码）在超出训练时见过的长度范围后，其外推能力会急剧下降，导致模型对远距离token的相对位置关系判断失准。

值得警惕的是，一个号称支持20万token的模型，往往在长度达到一半时性能就开始明显下滑。其原因有二：

• 注意力分散：当序列长度n增大时，模型的相对注意力被稀释，抓不住重点；
• 训练数据偏差：训练语料中短序列远多于长序列，模型对长序列的处理能力天然偏弱。

因此顶级工程师往往会主动压缩上下文，控制在模型上限的60%以下。做Agent时绝不能「无脑地把所有内容全部怼进去」，那样只会让效果急剧下降。

Agent发展史：从提示词到Harness

理解Harness的价值，需要梳理智能体的三个发展阶段。

第一代：提示词时代。 在2022年ChatGPT爆发前后，研究者探索了Few-Shot小样本学习、思维链（CoT）等技巧。Few-Shot小样本学习是指在提示词中提供少量输入-输出示例，让模型通过类比推理完成新任务，无需微调模型参数。思维链（Chain-of-Thought, CoT）由Google Brain团队于2022年提出，核心思想是在提示词中引导模型逐步展示推理过程，而非直接给出答案，从而显著提升数学推理和逻辑任务的表现。但提示词工程有一个致命局限——太依赖技巧。凡是高度依赖个人技巧的技术，往往难以规模化应用。你为了A问题改了提示词，B问题又冒出来了，本质上是治标不治本。这两项技术虽然有效，但高度依赖提示词的措辞、示例选择和格式设计，不同任务之间难以复用，形成了所谓的「提示词脆弱性」问题。

第二代：上下文时代。 典型技术是RAG（检索增强生成）。RAG由Meta AI于2020年提出，其核心架构包含三个阶段：首先将外部知识库中的文档通过Embedding模型转化为向量并存入向量数据库；用户提问时，将问题同样转化为向量，通过近似最近邻搜索（ANN）在向量库中检索语义相关的文档片段；最后将检索到的片段与原始问题拼接后送入大模型生成回答。这种架构解决了大模型知识截止日期的问题，也大幅减少了幻觉现象。核心思路是把「合适的提示词」送给大模型，并进行上下文的动态裁剪，让输入刚刚好。但这一代同样存在局限性——检索质量高度依赖于分块策略、Embedding模型质量和检索算法的精度。

第三代：Harness时代。 如果说Agent是一匹马，Harness就是马鞍、缰绳这些让马听从控制的装备。它把大模型这个概率采样出的随机系统，通过一整套工程手段变成可控的稳定系统。就像自动驾驶汽车不能「随机刹车」一样，投入生产的智能体必须既有智力，又不能太过随意、不可控。

如今的AI Coding工具（Gemini、Claude等）越来越稳定，MCP和Skill生态越来越丰富，背后都离不开Harness这套技术。它让智能体从「大玩具、大Demo」真正走向了可用的生产级产品。

Harness的六大核心能力

如果用计算机来类比，大模型是强悍的CPU，而Harness就是那套不可或缺的操作系统。有了它，我们才真正拥有了产品的雏形。具体来说，Harness包含六大核心支柱：

1. 文件系统

承载记忆系统与人设系统，同时支持智能体现场编写代码、创造工具。Claude Code之所以强大，正在于它可以直接编写Shell脚本来完成用户需求。文件系统在Agent架构中扮演的角色类似于操作系统中的持久化存储层——它为智能体提供了超越单次对话生命周期的数据持久化能力，使得跨会话的知识积累和工具复用成为可能。

2. 沙箱执行环境

指令写完后需要安全执行环境。最典型的沙箱就是Docker，在隔离容器中运行内容，避免污染本机系统。Docker基于Linux内核的Namespace和Cgroup两大机制实现隔离：Namespace提供了进程、网络、文件系统、用户等维度的隔离视图，使容器内的进程认为自己独占整个系统；Cgroup则限制容器可使用的CPU、内存、磁盘I/O等资源上限，防止单个容器耗尽宿主机资源。对于AI Agent执行代码的场景，沙箱还需配合seccomp（系统调用过滤）和只读文件系统挂载，防止恶意代码逃逸容器或对宿主系统造成破坏。这种隔离机制是生产级Agent安全执行用户生成代码的基础设施。

3. 记忆与记忆搜索

通过字面比对与语义比对相结合的方式，从记忆库中检索可能需要的信息，实现智能体的长期记忆能力。字面比对（如BM25算法）擅长精确匹配关键词，而语义比对（基于向量嵌入的余弦相似度计算）则能捕捉语义等价但措辞不同的信息。两者结合的混合检索策略在实际应用中比单一方法的召回率高出30%-50%，是当前记忆系统的主流实现方式。

4. 上下文管理

避免上下文长度腐烂的核心机制，是Harness中最关键的技术模块之一。上下文管理的核心挑战在于：既要保证模型拥有完成当前任务所需的全部信息，又要将输入长度控制在模型有效处理范围内。这需要一套动态的信息优先级评估机制，实时判断哪些信息对当前任务步骤最为关键。

5. 工具调用与监控

不仅调用工具，还要监控调用是否符合需求，确保每一步执行都可追踪、可审计。工具调用遵循OpenAI提出的Function Calling范式：模型生成结构化的工具调用请求（包含函数名和参数），系统执行后将结果注入上下文继续推理。监控层则需要记录每次调用的输入输出、耗时、错误码等元数据，形成完整的执行链路日志，便于故障定位和效果优化。

6. 长期自动运行

让智能体能够长时间稳定运行，中途故障后可快速恢复，满足生产环境的可靠性要求。这涉及状态持久化（Checkpoint机制）、心跳检测、超时重试、死循环检测等一系列分布式系统的经典工程实践，确保Agent不会因为单次LLM调用失败或网络抖动而整体崩溃。

以LangGraph为例，它把智能体的编排、状态管理等封装好，让开发者面向确定性编程，消除大模型的随机性——这正是Harness功能的体现之一。LangGraph是LangChain团队推出的智能体编排框架，其核心抽象是有向图（Directed Graph）。开发者将Agent的工作流定义为节点（执行单元）和边（状态转移条件），每个节点可以是LLM调用、工具执行或条件判断。LangGraph内置了状态持久化机制，支持断点续跑、人机协作和时间旅行调试。相比简单的链式调用，图结构天然支持循环、分支和并行，更适合表达复杂Agent逻辑。它本质上是将大模型的不确定性输出约束在确定性的状态机框架内。

上下文工程：减法的艺术

上下文工程是Harness最重要的能力之一。用一句话概括：给大模型的输入做减法，让模型接收的信息既不遗漏，也不掺杂过多无关内容。用学术语言说，就是「找到能让期望输出概率最高的最小token集合」。

这一思想与信息论中的「信道容量」概念相呼应——Shannon定理告诉我们，任何信道都有最大信息传输速率，超过这个速率信息就会丢失。大模型的上下文窗口本质上就是一个有限容量的信息信道，上下文工程的目标就是最大化这个信道中有效信息的密度。

卸载到文件系统

有人会问：直接截断历史不行吗？截断确实简单，但一旦丢弃的信息后续还需要用到，就会出问题。因此更好的做法是把数据卸载到文件系统，需要时再取回。

这与计算机的硬盘和内存关系高度相似：硬盘可存几十TB数据，但每次处理只加载所需部分进内存。Claude Code会把大量人设文件、记忆文件写入磁盘，用户说「我的生日是1月5日」，它写入记忆文件；下次询问生日时再取回，其他无关问题则不占用宝贵的上下文窗口。

你可能没注意到，业界正在弱化但并未抛弃RAG。当前趋势是让大模型自己生成搜索命令主动查找，越来越拟人化，但内部依然结合了RAG与语义比对来定位记忆。这种演变被称为「Agentic RAG」——从被动检索走向主动检索，Agent自主决定何时需要外部信息、如何构造查询、以及如何验证检索结果的相关性。

对话压缩

如果说记忆系统解决的是长期记忆，那么对话压缩解决的是短期记忆。多轮对话超长时，最经典的方法是对过往上下文做摘要压缩，尤其针对冗长的工具输出（如读文件、搜索结果）。更粗暴的方式则是直接删除，只留一句「此处曾有工具输出」。由于摘要必然丢失细节，压缩后的原文往往同样存入文件，需要时可再取回。

对话压缩的技术实现通常有两种路径：一是使用同一模型生成摘要（递归摘要），优点是语义理解一致，缺点是额外消耗推理资源；二是使用轻量级专用模型做摘要，速度快但可能丢失领域特定信息。实践中，许多系统采用分层压缩策略——最近几轮保留原文，较早的轮次保留摘要，更早的轮次仅保留关键决策节点，形成类似人类记忆从短期到长期逐渐抽象化的过程。

多智能体架构：分工与隔离

多智能体是Harness中一项强大的技术。主智能体把任务拆解成多个子任务，分派给子智能体处理，最后汇总结果——就像项目组长把需求拆给五个组员。

关键在于：主智能体不存放子智能体的记忆。组长只关心组员交付的结果，不关心其执行的每一步细节。因此大量上下文被隔离在各个子智能体中，主智能体的上下文压力大大降低——这本质上也是一种上下文压缩策略。

此外，多智能体架构还带来两大优势：

• 模型异构：不同子智能体可挂载不同模型，复杂任务用强模型，简单任务用轻量模型，擅长编程的用专门的编程模型；
• 并行执行：多个子智能体可并行运行，尤其在工具调用耗时较长时，并行带来的效率提升巨大。

Claude Code就大量运用了智能体派生：主智能体克隆自身为子智能体，但为防止无限克隆，只允许派生一层。这种设计借鉴了操作系统中fork进程的思想——父进程创建子进程处理子任务，子进程完成后将结果返回父进程，子进程的中间状态不会污染父进程的地址空间。限制派生层级则是为了防止递归失控导致的资源耗尽，类似于操作系统对进程树深度的限制。

其他关键工程技术

除上述核心能力外，Harness还包含一系列精巧的工程技术：

• 渐进式加载（Skill）：第一次只加载每个Skill的简短摘要，确定要调用哪个后再加载完整内容，避免无关步骤占用上下文。这种设计借鉴了数据库的「延迟加载」（Lazy Loading）模式和操作系统的「按需分页」（Demand Paging）机制——只有在真正需要时才将数据加载到活跃内存中；
• 数据过滤：读日志文件时不再全量加载，而是只提取关键词相关的片段（如只取「修bug」相关部分）。这本质上是在Agent层面实现了类似grep/awk的流式文本处理能力，将信息检索的粒度从文件级精细化到段落甚至行级；
• 上下文缓存（KV Cache）：将系统提示词、人设等不变内容缓存，节省推理时间。KV Cache是Transformer推理加速的核心技术——在自回归生成过程中，模型每生成一个新token都需要计算所有历史token的Key和Value矩阵，KV Cache将已计算过的Key和Value缓存起来，新token生成时只需计算当前token的Query与缓存的Key做注意力即可。在Harness语境中，系统提示词等固定前缀的KV Cache可以跨请求复用（即Prefix Caching），大幅降低首token延迟和推理成本。但缓存要求token完全一致，因此JSON等结构必须保证键序有序，稍有变化便无法命中缓存。

安全护栏

安全是生产级Agent不可或缺的一环，分为系统安全与内容安全两个层面。

系统安全通过类似SAFE.md的文件定义高危、中危、低危操作：查看类低危操作可自动执行，删除修改类高危操作必须人工确认，并配合备份、变更记录与回滚机制。同时要明确哪些敏感数据（如用户手机号）绝不能上传至云端基座模型。这种分级授权机制类似于Linux的文件权限系统（读/写/执行）和Android的运行时权限模型——对不同风险等级的操作采取不同的授权策略，在安全性和可用性之间取得平衡。

内容安全则通过对输入输出双向拦截实现。尽管基座模型本身具备安全能力（如RLHF训练中的安全对齐），但仍需做双保险——安全问题一旦出事就是灭顶之灾，且企业往往有自己特定的合规要求（如金融行业的反洗钱规则、医疗行业的隐私保护法规）。输入侧拦截可防止Prompt注入攻击和越狱尝试，输出侧拦截则确保生成内容不包含有害信息、个人隐私数据或违反企业品牌调性的内容。这种「纵深防御」思想源自网络安全领域，强调不依赖单一防线。

结语：AI进入大规模应用时代

Harness的出现，标志着AI正从技巧驱动、Demo演示走向大规模应用时代，恰如智能手机兴起带动移动互联网的爆发。

从技术发展的历史规律来看，每一次计算范式的跃迁都遵循「核心技术突破→工程化封装→大规模应用」的路径。大型机时代有操作系统的诞生，PC时代有Windows的普及，移动时代有iOS/Android的生态建设。Harness之于大模型，正处于这个从「核心突破」到「工程化封装」的关键转折点——它将分散的最佳实践凝练为系统化的技术栈，降低了构建生产级Agent的门槛。

Claude Code被认为是首次将Harness技术做成产品化尝试的代表——它像「初代iPhone」一样开启了新时代，尽管本身仍是半成品、有诸多待优化之处，但已把各个技术要点基本打通。

对技术从业者而言，即便你现在没有直接使用这些产品，也不妨碍未来拥抱这个方向。Harness代表的，正是让大模型智能体真正稳定、可靠、可用的工程化未来。