把LLM当工厂机器管：输出验证与质量门禁实战

一位在制造业生产线摸爬滚打多年的工程师转行做AI系统后，发现团队对待大语言模型的方式令人不安：写个提示词，祈祷输出正确，直接打印结果，发布上线。这让他想起工厂里绝不允许的场景——零件不检验就流入下一道工序，废品继续往前送。没有人会说「希望它没问题」。

把LLM当工厂机器管

核心思路：从「同事」到「机器」的认知切换

作者提出的转变极其简单：不要再把模型当作一个尽力而为的同事，而是把它当作一台有噪声的机器来管理。这意味着四个步骤：

画图纸——定义输出必须长什么样（数据结构契约）
逐件检验——对每次输出做模式验证（schema validation）
发现废品，带着缺陷说明返工——而不是重新造一个（修复循环）
机器坏了就关掉——而不是继续喂输入（熔断器）

这套流程和制造业质检完全一致，只不过检验对象从钢材变成了token。核心观点在于：LLM的可靠性问题本质上是一个工程问题，需要用工程手段解决，而非靠更巧妙的提示词。

为什么LLM可靠性需要独立工程体系

传统代码出错时会大声崩溃——抛异常、报错、堆栈追踪。LLM的失败方式完全不同：它会礼貌地骗你。

类型错误？有时候它给你的依然是合法JSON，只是字段含义不对
字段缺失？模型回一句「好的！」你看着挺满意，直到QA阶段才发现问题
输出被截断？看起来可能像是完整答案

这种「礼貌性失败」是最危险的。try/except捕获不了语义层面的错误，你需要的是质量门禁（gates）——在输出进入下游之前强制拦截。作者强调，这比堆砌重试逻辑更根本：门禁决定什么能通过，重试只是处理失败的补救措施。

Schema validation（模式验证） 是本文反复出现的核心机制，值得展开说明。所谓 schema，是对数据结构的显式声明：哪些字段必须存在、每个字段的类型是什么、取值范围如何、嵌套关系怎样。常见实现包括 JSON Schema、Pydantic、Zod、TypeBox 等。所谓 validation，就是在数据进入下游之前，把它与 schema 逐项比对，任何不符合即判定为不合格。

它解决的是传统 try/except 解决不了的问题。程序错误会让执行崩溃，但 schema mismatch 是数据形态错误：JSON 语法完全合法，只是字段名写错、类型漂移（本该是整数却给了字符串）、必填项缺失或多余字段混入。这类错误不会抛异常，却会在下游悄悄污染数据。因此 schema validation 充当了语义层面的「入口检验」，让不合格输出在进入业务逻辑之前就被拦下。

熔断器（circuit breaker） 是本文四步流程中「机器坏了就关掉」对应的工程模式，源自分布式系统领域。它的逻辑是：当某个依赖连续失败达到阈值时，暂时切断对它的调用，直接返回失败或降级结果，而不是继续把请求喂进去。典型状态机包含三种状态——闭合（正常放行）、打开（全部拒绝）、半开（少量试探以判断是否恢复）。

把熔断器用在 LLM 管道上，含义是：当模型在短时间内的验证失败率飙升，说明当前提示词、模型版本或输入分布出了系统性问题，此时继续调用只会持续产生废品并浪费 token 成本。熔断器让系统停下来，暴露故障，而不是靠重试把问题掩埋。它和重试是互补关系：重试应对偶发失败，熔断器应对系统性故障。

实际开源工具：两层防护

作者将自己构建的工具开源，刻意保持简单：

structured-llm-output-guard：把自由文本转换为有类型的JSON，确保输出结构可验证
guards-and-laws：质量门禁加领域规则，带有硬否决（HARD VETO）机制——违反规则直接拒绝，不商量

作者形容这些工具「没什么花哨的，就是无聊的防护层，让模型在生产环境里真正可用」。这个态度本身就值得注意：生产级AI的关键往往不在于模型多强，而在于外围有多少无聊但可靠的约束。

HARD VETO（硬否决） 是 guards-and-laws 中的关键设计，代表一种不可协商的规则执行语义。与「打分」「警告」或「建议修正」不同，硬否决一旦触发就直接拒绝整个输出，没有降级通道，也不允许模型用道歉或解释来换取通过。

它的价值在于划清不可逾越的边界。模型会礼貌地生成看似合理但触碰合规红线、安全底线或业务硬约束的内容，如果规则只给出软性提示，模型很可能在下一次输出中换个说法继续触碰。硬否决把这类规则从「评价标准」提升为「物理约束」，类似于工厂里的安全联锁——不是提醒操作员注意，而是直接停机。这一机制也呼应了文章的核心判断：生产级 AI 的可靠性依赖的是无聊但强硬的约束，而非模型的自觉。

五条工厂思维实操建议

先写图纸：如果你说不清什么叫「好」，模型也说不清
逐件检验：用一个统一的验证器，而不是「上线再看看」
返工优于重造：把缺陷说明反馈给模型修复，比重新写提示词更便宜
允许报废：拒绝一个输出，好过发布垃圾再道歉
测量废品率：如果20%的输出通不过schema验证，该修的是提示词或模型等级，不是心态

这五条建议的共同逻辑是：把LLM管道的质量问题量化、可视化、可干预。工厂不会靠感觉管理良品率，AI管道也不该靠感觉判断输出是否可用。

结语

作者最后写道：「如果你能感受到工厂流水线在哪里断裂，你就能感受到LLM管道在哪里断裂。同样的耳朵，不同的材质。」这句话点出了一个跨领域的洞察：可靠性工程的核心直觉是通用的，区别只在于你面对的是钢铁还是token。对于正在把LLM推向生产环境的团队来说，这套制造业质检思维或许比任何提示词技巧都更值得借鉴。