AI决策前的评估门：我如何为AutoKon搭建支付级AI护栏

大多数AI功能失败时是悄无声息的：摘要略有偏差、标签贴错、建议被忽略。没人会为此提工单，产品照常运转。但AutoKon不是这类产品——它是一个面向印尼房地产开发商的财务核验流水线。现场工人拍下房屋照片，视觉语言模型读取照片，而读取结果会决定是否释放承包商的款项。一次错误的描述不会只是降低体验，它会把钱送到错误的地方。这个特性改变了后续所有设计。

流水线不止于模型

最直观的架构是“照片输入、VLM输出、直接决策”。Claude Opus Vision非常擅长描述施工现场：它会告诉你墙面已抹灰、屋架已架好、地面找平已完成。偶尔，它也会用同样的自信，对一张完全不同的照片说出同样的话。频率不高，但足以造成实质影响。

因此，每一段AI生成的描述在接近任何付款决策之前，都必须经过一个“LLM作为评审”的评估阶段。第二个模型根据图像和声明对第一个模型进行评分，只有达标项才能继续推进。这个评审不是上线后附加的质量仪表盘，它位于支付路径之中。如果评估阶段宕机，付款就会等待。对于这个领域，这正是正确的故障模式，而尽早确定这一点，才让后续设计变得可控。

评审究竟在衡量什么

我见过的大多数评估工作都在优化“答案好不好”。对于支付门来说，这是错误的问题。真正的问题是：描述是否有据可依——其中的每一条声明是否都能被照片中的内容所支撑？一段描述可以写得很好、合理且有价值，却仍然声称了一个画面中根本不存在的完工阶段。这种失败绝不能流入付款引擎。

所以评审收到的是一个范围极窄的提示词：这里的每一条声明是否被这张图支撑？它从不被问及描述读起来是否流畅。即便文笔出色，缺乏依据的声明也会导致该项失败，而大部分价值恰恰来自这种收窄。宽泛的质量评分标准会让评审模型过于频繁地与生成模型达成一致，因为两个模型共享同样乐观的先验。

LLM-as-judge（LLM作为评审） 是一种用第二个语言模型对第一个模型的输出进行评分或裁决的评估范式。常见做法是给评审模型一段提示词，要求它依据给定标准判断生成内容的质量、正确性或一致性。在质量评估场景中，评审通常被要求给出分数或偏好排序；但在需要可审计性的场景中，评审更适合输出二元的“通过/不通过”判定，以便与人工标签计算一致率。LLM-as-judge 的主要风险包括：评审模型与生成模型共享训练数据带来的乐观偏差、提示词措辞对评分结果的显著影响，以及评审模型对流畅文本的过度偏好。因此，在支付等高风险场景中，评审提示词应尽可能收窄到可验证的具体声明，并用人工标签校准评审的可靠性。

让评审值得存在的那个数字

自动化评审只有在与人类评审员一致时才有价值，而且你必须能说出一致程度有多高。该流水线的目标是相对于人工标签的Cohen's κ ≥ 0.80，无论按哪种标准解读，这都属于实质性一致。这是一个操作阈值，不是放在幻灯片上的数字。低于它，评审就成了虚假信心的来源而非控制手段，诚实的做法是扩大人工复核范围，直到评分标准或标签得到改善。

在达到这个目标的过程中，我学到了三件事。人工标注时间稀缺，所以要把它花在生成模型和评审模型意见不一致的地方，而不是那些从未有过疑问的案例上。模糊的评分标准会先表现为低κ值，之后才表现为糟糕的结果；当一致性下降时，原因几乎总是评分标准让两位合理的评审员对同一张照片打出不同分数，而不是模型变差了。输入分布也在不断移动：新的工地类型、新的手机摄像头和雨季都会改变相机看到的内容，因此上线时就冻结的评估套件会逐渐衰减。

Cohen's κ（Cohen's kappa） 是衡量两名评审者对同一批样本分类一致性的统计量，计算时扣除了随机一致的概率。取值通常在 -1 到 1 之间：0 表示与随机猜测无异，0.61–0.80 一般视为实质性一致，0.81 以上为几乎完全一致。与简单的准确率不同，κ 能揭示评审者是否在某一类别上系统性偏移，因此在评估“自动评审能否替代人工评审”时比准确率更有信息量。κ 的局限在于它对类别分布敏感：当某一类别极度不平衡时，κ 可能偏低，需要结合混淆矩阵一起解读。在 AutoKon 的场景中，κ ≥ 0.80 被用作操作阈值，意味着自动评审与人工评审在“声明是否有据”这一判断上达到实质性一致，才允许其结论流入付款路径。

人类坐在哪里

评估门并不替代审批。AutoKon运行一个五角色的照片证据审批工作流，现场提交通过WhatsApp经由n8n和Botpress流程送达，而不是通过一个每个现场工人都需要账号和培训的门户。

AI不批准任何东西。它把明显完整、明显有据的证据从评审员的队列中清出，并标记出需要人工处理的内容。评审员拿到的是附带上下文的模糊案例，这正是人类判断力发挥价值的地方。这使得一名工程师能够跨三个时区、数千套住房单元运营平台，而复核负担不会随单元数量同步增长。

n8n 是一个开源的工作流自动化平台，通过可视化节点编排将 Webhook、HTTP 请求、数据库操作和消息服务串联起来。Botpress 则是一个面向对话式 AI 的构建平台，用于设计多轮对话流程、管理意图与渠道接入。在 AutoKon 的架构中，二者组合承担了“把现场工人通过 WhatsApp 提交的照片和文本转成结构化审批任务”的职责：WhatsApp 消息经 Botpress 的对话流程接收和初步解析，再由 n8n 触发后续的评估门调用、状态更新和评审员通知。这种组合的价值在于，现场工人无需安装新应用或学习新门户，审批流水线却能在后台获得结构化的输入，降低了大规模推广时的培训成本。

哪些经验可以迁移

并非每个产品都涉及资金流动，但这些问题具有普遍性：在这里，一个自信的错误答案最坏能造成什么后果？你的设计是从这个问题出发，还是从模型能做什么出发？你的指标衡量的是相对于来源的正确性，还是合理性？你能说出与人类的一致程度究竟是多少吗？仍在环路中的人拿到的是困难案例还是简单案例？

模型从来不是这个构建中最难的部分。最难的是围绕它的结构，以及愿意让这个结构在必要时阻断顺畅路径。