Harness Engineering实战：驾驭工程四大核心原理与落地方法

为什么Harness Engineering是Agent开发的核心

复杂问题表现超神，简单问题却频频翻车；运行不稳定，小问题容易滚雪球变成大事故——这就是目前AI Agent迈向生产力的最大障碍。而业内公认的解决方案，就是Harness Engineering（驾驭工程）。

工业界内部已达成共识：决定一个AI智能体好不好用，往往不是模型本身，而在于Agent运行时的约束方法。这个理念可以用一个著名公式来表达：

Agent = Model + Harness

模型是发动机，驾驭工程是底盘、刹车和方向盘。没有后者，再强的引擎也会让你更快速地冲出赛道。这个公式最早在Anthropic的工程博客和OpenAI的内部实践中被反复提及，其核心思想源于一个反直觉的发现：在实际生产环境中，模型能力的提升对最终产出质量的边际贡献正在递减，而围绕模型的工程化约束体系（即Harness）对产出稳定性的贡献却在急剧上升。这与传统软件工程中"防御性编程"的理念一脉相承——你不能假设系统的每个组件都会完美运行，而是要在架构层面预设失败路径和纠错机制。

本文将结合B站UP主"九天"团队过去半年的实战开发经验，系统梳理Harness Engineering的四大基础理论及其工程落地方法，并介绍两套自研的Harness系统——Skill萃炼系统和Skill优化系统。

Harness Engineering四大基础理论

综合OpenAI、Anthropic与社区实践，驾驭工程的核心包含四个方面：文档即真相源、机械化结构约束、反馈闭环、熵管理。做好这四方面工作，Agent的性能就能有明显提升。

文档即真相源（Documentation as Source of Truth）

智能体不像人，它对一个项目没有长期记忆，每开一个新会话都是一张白纸。文档即真相源要解决的就是这个问题——把项目的所有相关信息（技术栈、命令、规范、禁区等）写进一份智能体每次启动都会自动读取的文档。

• Anthropic体系叫 CLAUDE.md
• OpenAI体系叫 AGENT.md

让代码库连同这个文档成为Agent的唯一事实依据，而不再依靠每次对话时临时的口述。

最容易踩的坑：贪多。 把文档写成几百行的百科全书，上下文窗口是最稀缺的资源，文档越臃肿，真正该读取的信息就越容易被淹没。上下文窗口（Context Window）是大语言模型单次推理时能处理的最大token数量。虽然最新模型如Claude 3.5和GPT-4o已经支持128K甚至200K token的上下文，但这并不意味着可以无限堆砌信息。研究表明，大模型存在"中间遗忘"（Lost in the Middle）现象——当上下文过长时，模型对中间位置信息的注意力会显著下降，只对开头和结尾的内容保持较高的召回率。因此，文档设计必须遵循信息密度最大化原则，把最关键的约束放在最显眼的位置。正确做法是把它当成一张地图而非百科——主文件只留约百行的目录和最关键的约束，细则下沉到子目录，智能体按需跳转检索即可。

机械化结构约束（Mechanized Structural Constraints）

光有文档还不够，因为文档写的是"建议"，而智能体和人一样都会忽略建议。这根支柱的作用是把关键约束从建议升级为规则，刻进执行流程里强制执行。

结构化约束通常分两类：

机械约束：用钩子或脚本做确定性拦截。钩子机制借鉴了Git Hooks和CI/CD流水线中的概念。在Git中，pre-commit hook可以在代码提交前自动执行lint检查或测试；在Agent系统中，钩子的作用类似但更广泛——它可以在工具调用前（pre-action hook）、输出生成后（post-generation hook）、任务切换时（transition hook）等多个节点插入确定性检查逻辑。钩子的核心优势在于它是同步阻塞的：一旦检测到违规，流程会被硬性中断，而不是像提示词那样"建议"模型修改。比如智能体准备执行危险命令时自动喊停，提交代码前自动跑一遍质量检查，不通过就硬打回。适合拦截已知的、能用规则描述清楚的风险。

提示约束：当危险藏在文本语义里，规则检测不出来时，就需要调用一个大模型去审查另一个大模型的产出，靠语义理解来识别"这段代码效果等于删库""这行日志会泄露密钥"这类字符串匹配抓不到的问题。

两者相互搭配形成双层防线——机械约束是低延迟高速的筛子，提示约束是第二道兜底的网。实践反复证明：把智能体框在一个合理的解空间里，它的产出反而更稳定、更准确。

反馈闭环（Feedback Loop）

智能体在没有反馈时就像蒙着眼射箭，做错了也不知道，直到全部交付才暴露问题。反馈闭环要做的就是让Agent每一步都能拿到"做得对不对"的信号。

成熟的反馈通常是多层的：

• 工具调用前后的即时检查
• 提交时的自动化测试
• 上线后的运行监控
• 任务完成后的独立评审

最关键的一条原则：评估与生成分离。 大模型有一个改不掉的毛病——让它自己给自己打分，它总是过度宽容。这个现象在学术界被称为"自我一致性偏差"（Self-Consistency Bias）或"自我服务偏差"（Self-Serving Bias）。多项研究表明，当让同一个大模型既生成内容又评估质量时，它倾向于给自己的输出打高分，因为生成和评估共享相同的内部表征和偏好模式。这与人类心理学中的"禀赋效应"类似——人们会高估自己拥有的东西的价值。靠谱的做法是把评估权交给另一个独立的智能体专门"挑刺"，甚至可以用不同厂商的模型交叉评估，以最大程度消除系统性偏差。调教一个独立评审的怀疑度，远比让生产者自己时刻保持清醒要容易得多。

熵管理（Entropy Management）

这是最容易被忽视却最有原创性的环节。AI协作会带来一种全新的麻烦：代码和文档不会突然崩溃，而是缓慢腐烂——注释和实现逐渐对不上，绕过规范的捷径越积越多，不同会话留下相互打架的风格，历史积累的无用功能越来越多。

"熵"这个概念借自热力学第二定律——在一个封闭系统中，熵（即无序度）总是趋向增大。软件工程领域早在1990年代就提出了"软件腐烂"（Software Rot）和"技术债务"（Technical Debt）的概念，描述的是代码库在持续修改过程中逐渐退化的现象。AI协作场景下，这个问题被急剧放大：人类开发者通常有统一的代码风格和心智模型，而AI Agent每次会话都是独立的，不同会话之间缺乏一致的"审美记忆"，导致风格漂移的速度远超人类协作场景。Martin Fowler提出的"重构"理念在这里被重新诠释为自动化的、持续的熵清理流程。

熵管理就是要主动对抗这种腐烂：把人的品位固化成自动规则，持续扫描发现漂移立即清理，让冗余信息定期压缩归档。它的精髓在"持续"两个字——不是等到不可收拾再大修，而是像垃圾回收一样常态化运行。

实战案例：AI内容审美偏好对齐

但凡用过AI批量生产内容的人都会遇到这样的问题：Agent写得又快又多，但总感觉不对味。你让它干净克制，它给你浮夸拍马；你让它老实配图，它画一个根本不存在的软件页面糊弄你；你让它术语先解释再用，它张口就是黑话；你让它正文连贯成段，它甩给你一堆要点列表。

这些拎出来都是小事，可恰恰是它们让AI生产内容永远卡在"合格"但到不了"精品"。这不是能力问题，而是品位问题——模型再聪明也猜不到私人口味，架构再优也容不下成百上千条琐碎偏好。

四大原理如何协同运转

第一步：建立真相源。 系统专门建立了一个经验库 Global_Learnings.md，存放审美偏好和避坑规则。这份文档有意与Claude自带的记忆功能分开——执行流程的记忆管"怎么把活干完"，审美偏好管"怎么把活干漂亮"，两类信息放一块会相互干扰。

第二步：靠钩子自动入库。 经验不是拍脑袋想出来的，而是在真实运行场景里被钩子当场逮住记录下来的：配图冒出伪造页面→记一条；正文堆要点不成段→记一条；中文用间隔号当分隔符→记一条。机制确保该记的一定记录，而不是指望AI哪天心情好随手记一笔。

第三步：反馈流程让经验生效。 开工前预判本次任务类型，把相关旧教训主动注入；干完活后统计每条经验被违反了几次，哪条还在反复犯、哪条已彻底改掉，一清二楚。偏好对齐从"碰运气"变成了能度量、能追踪的闭环。

第四步：熵管理保持精炼。 经验攒多了怎么办？早就不再犯的→清理掉；偶尔才犯的→压缩精简成一两句；还在犯的硬骨头→原样保留甚至加重语气。经验库因此变"瘦而锋利"，而不是"胖而迟钝"。

两套自研Harness系统

在公开课中，团队还从零搭建了两套核心系统：

Skill萃炼系统：在多轮对话过程中自动抓取高频任务，提炼成可复用的Skill。全自动根据历史规划信息进行总结，无需人工干预。Skill萃炼系统的核心思想与"程序合成"（Program Synthesis）和"经验回放"（Experience Replay）有深层关联。在强化学习中，经验回放是指将智能体的历史交互存储起来，后续从中采样学习；Skill萃炼则是在更高的抽象层面做类似的事——从多轮对话的历史中提取出可复用的任务模式，将其固化为标准化的执行模板。

Skill自动优化系统：能够在实际使用中根据历史任务创建数据集，自主对Skill进行测试与迭代优化。该系统引入了类似"自动提示词工程"（Automatic Prompt Engineering）的思路，通过构建测试数据集、自动运行A/B对比、根据评估指标迭代改进，形成一个无需人工干预的Skill持续进化闭环。这也是目前工业级Harness系统必备的核心功能，同时也是最近大火的Harness Agent的核心能力——用Agent来优化Agent的驾驭系统。

总结

Harness Engineering的本质并不是一套标准化技术，而是用好Agent的工程经验总结。四大原理环环相扣：文档作为准绳，靠钩子自动入库，开工前主动注入，用违反次数紧紧盯梢，最后靠熵管理保持精炼。

模型负责才华，驾驭工程负责将这份才华稳稳地、一次次地塑造成你想要的样子。 这才是Agent从"能用"走向"好用"的关键所在。

核心要点