构建领域智能体：瓶颈不是专家时间，而是专家共识

领域智能体的真正瓶颈在哪里

在金融、运营等专业领域构建AI智能体（domain agent）时，很多团队发现评估与训练数据的准备并没有被工具链卡住。真正拖慢进度的，是从真正懂业务的人那里拿到"正确答案"。

这个观察来自一位Reddit用户与多位正在为财务和运营团队构建智能体的从业者的交流。他的结论颇具代表性：约束智能体落地的，往往不是技术能力，而是领域知识的获取与固化方式。当我们谈论AI在垂直领域的应用时，这个问题经常被低估。

专家时间 vs 专家共识

讨论中出现了一个值得深思的区分。有人直言，约到领域专家（SME, Subject Matter Expert）的时间其实不难，慢的环节在于让他们"就什么才是正确答案达成一致"。

这把矛盾从资源问题转向了认知问题。你可以轻松把三位资深分析师拉进会议室，但当面对同一个边界案例时，他们可能给出三种不同的处理逻辑——而且每一种在各自的经验框架下都成立。对于训练数据和评估基准（eval）来说，这种分歧是致命的：机器学习需要确定的标签，而现实业务充满了依赖语境的判断。

为什么专家会分歧

领域知识往往是隐性的。资深从业者通过多年积累形成直觉，但这些直觉并未被明确编码成规则。当被要求把判断显式化时，不同专家会暴露出各自对规则边界、例外情况、风险偏好的不同理解。这些差异平时隐藏在"大家都知道"的默契中，只有在为智能体标注数据时才会浮出水面。

认知科学将这类知识称为隐性知识（tacit knowledge），由迈克尔·波兰尼（Michael Polanyi）在1960年代提出。与可以写进手册的显性知识不同，隐性知识嵌套在实践者的经验、直觉和身体感知中，本质上难以语言化。在AI训练数据采集领域，这一问题被称为"知识提取瓶颈"（knowledge elicitation bottleneck）——即领域专家确实拥有正确答案，但将其转化为机器可学习的标注格式本身就是一项高难度任务。

传统知识工程（knowledge engineering）在1980-90年代专家系统时代就已遭遇这一困境，并发展出结构化访谈、协议分析（think-aloud protocol）等提取方法，但均未能从根本上解决问题。大模型时代的到来并未消除这一瓶颈，反而因为对标注数据质量要求更高而将其放大。

这里提到的评估基准（eval）在大模型应用开发中扮演着类似软件单元测试的角色——它是一套带有标准答案的测试集，用于衡量智能体在特定任务上的表现是否达标。与通用基准（如MMLU、HumanEval）不同，领域智能体需要基于真实业务场景构建定制化eval，其质量直接决定了整个开发迭代的方向是否正确。

如果eval本身的标准答案存在争议或错误，团队可能在错误的优化目标上投入大量算力与标注资源，最终产出一个在基准上表现优异、在实际业务中却频繁出错的模型——这在工程上被称为Goodhart定律的典型表现：当一个指标变成目标，它就不再是好的指标。这也是为什么eval的构建质量，往往比模型本身的选型更能决定项目成败。

规则何时失效，没人记录

另一个被提到的痛点同样尖锐：没有人会在一条规则不再成立时把它写下来。

业务规则是动态的。监管政策调整、市场环境变化、内部流程迭代，都会让曾经正确的做法变得过时。但组织很少有机制去追踪"这条规则从哪天起失效了"。结果是知识库里混杂着仍然有效和已经作废的逻辑，而只有脑中装着最新语境的专家才能分辨——这又把问题绕回了对专家共识的依赖。

对于构建智能体的团队，这意味着训练数据天然带有"时间腐坏"风险。今天标注为正确的样本，可能在几个月后就成了反例，却没有任何显式信号提示你去更新。

这一现象与知识管理领域的知识腐化（knowledge decay）概念高度吻合。组织知识库在缺乏主动维护的情况下，其准确率会随时间指数级下降。在合规密集型行业（如金融、医疗），监管文件的更新频率可能以季度计，而内部知识库的同步往往滞后数月乃至数年。

对于机器学习系统，这带来了一个特殊挑战：模型不会主动告诉你它正在用过时的逻辑做判断。在软件工程中，过期的依赖库会触发编译警告；但在AI训练数据中，"时间腐坏"的样本与有效样本在格式上完全一致，只有熟悉最新业务语境的人才能识别。这也是为什么部分团队开始引入数据版本控制（data versioning）工具（如DVC、LakeFS），并尝试为每条训练样本附加业务规则版本号，以便在规则更新时精准定位受影响的样本集。

对实践的启示

这场讨论虽然源自一个开放式提问，但指向了几个可操作的方向。

把分歧当作信号而非噪声。 当两位专家对同一案例给出不同答案时，这往往标记出了业务中真正模糊、高风险的区域。与其强行取一个标准答案，不如记录分歧本身，并明确在哪些条件下哪种判断适用。

为规则建立时效元数据。 在知识固化时同步记录规则的生效条件、适用范围和复核周期，比单纯积累"正确答案"更有价值。这能缓解规则悄悄失效却无人察觉的问题。

流程设计优先于工具选型。 既然瓶颈不在工具链，那么谁来提供答案、分歧如何裁决、知识如何随时间更新，这些流程机制才是决定项目成败的关键。

一个值得持续追问的问题

原帖最后抛出的问题很实在：在你上一个项目里，最终是谁给了你正确答案？当两个人意见相左时又发生了什么？

这些问题没有标准解。但它们提醒所有做垂直AI的团队：构建领域智能体的难点，正从"模型能不能学会"转向"人类能不能说清"。在大模型能力快速提升的当下，组织如何沉淀、对齐和维护专家知识，可能才是拉开差距的真正壁垒。