通用视觉模型输出边界框，为什么必须加验证层

通用视觉语言模型现在可以直接对一张图片加一句提问，返回分割掩码、边界框和目标检测结果——这项过去需要专门训练视觉系统的工作，正在被一个API调用取代。但真的把边界框交给下游使用前，你的代码必须先检查三件事：schema 是否正确、坐标是否合法、每个框是否带有标签。

从九到十二个月，缩短到一次调用

Google DeepMind 的 Google AI Studio 与 Gemini API 产品负责人 Logan Kilpatrick 在 Chain of Thought 第 12 期节目中，回顾了自己作为机器学习工程师的经历：解决一个领域特定的计算机视觉问题，通常需要九到十二个月，而且还是在顺利的情况下。你需要收集数据、端到端训练模型、部署上线，并搭建容错基础设施。

如今，视觉语言模型在微调之前就已经能完成图像分割、边界框和目标检测。对缺少机器学习博士团队的早期创业者和企业主来说，这意味着可以直接调用模型 API 来验证视觉用例，数月的数据收集和端到端训练从路径中消失了。但生产环境的标准并没有降低。

视觉语言模型（VLM） 是一类同时接受图像和文本输入、并生成文本或结构化输出的模型。与传统的专用视觉模型不同，VLM 在大规模图文对上预训练，因而具备零样本（zero-shot）的定位与识别能力。文中提到的“微调之前就已经能完成分割、边界框和目标检测”，指的是模型无需针对特定数据集重新训练，仅通过提示词即可输出坐标与标签。这种能力大幅降低了视觉任务的门槛，但输出本质上是生成式的候选结果，而非经过几何约束的确定性计算，因此需要额外的校验层。

为什么多模态部署远远落后于文本

Kilpatrick 的判断是：多模态 AI 基本还没有进入生产环境，成功部署极少，而文本部署已经相当普遍。早期多模态用例才刚刚起步。

他指出了两块遗留工作。第一块是脚手架（scaffolding）。当前大量工程代码存在的原因，正是因为系统无法像人一样看和交互；具备视觉能力的模型本可以简化这些脚手架。同时，下一层多模态智能体需要新的脚手架，而搭建它需要时间。第二块是判断系统是否有效。他估计，在已经把 AI 推到用户面前的团队里，至少有一半没有像样的评测方案，也不清楚自己交付的东西怎样才算成功。他预计这种滞后会在多模态智能体场景中重演：产品界面跑在评测前面，运维又跑在产品后面。

换句话说，在第一个用户看到边界框之前，就该定义好成功检查。模型返回的框列表只是一个候选答案，不是通过验收的结果。

脚手架（scaffolding） 在 AI 工程语境中，指围绕模型构建的辅助代码与基础设施，用于弥补模型能力缺口、连接外部工具、管理状态与错误处理。例如，当模型无法直接读取文件或调用 API 时，需要编写解析器、重试逻辑和格式转换层。Kilpatrick 指出，大量现有工程代码的存在，正是因为系统还无法像人一样看和交互；多模态能力可以简化部分脚手架，但多模态智能体又需要新的脚手架（如视觉反馈循环、动作安全层），这构成了部署滞后的重要原因。

边界框验证该检查什么

一条可执行的规则是：除非每个框都落在图像范围内、宽高均为正数、并且带有非空标签，否则拒绝整个响应。只有检查通过后，才能把框交给绘图、裁剪或机器人动作。

对模型返回的任何结构化输出——掩码、边界框、检测结果——都要做 schema 校验。坐标超出画面、零面积框、缺失标签，即使模型附带的文字语气再自信，也应判定为失败。请求时要把图像的宽高一起存下来，这样检查才有边界可参照。将来做了微调，这道关卡依然保留：结构错误仍然应该被拒绝。

下面是原文给出的一个最小校验草图，可作为改造起点，而非开箱即用的库：

import math

def _finite(value):
    if isinstance(value, bool) or not isinstance(value, (int, float)):
        return None
    if not math.isfinite(value):
        return None
    return value

def boxes_ok(boxes, width, height):
    width, height = _finite(width), _finite(height)
    if width is None or height is None or width <= 0 or height <= 0:
        return False
    if not isinstance(boxes, list) or not boxes:
        return False
    for box in boxes:
        if not isinstance(box, dict):
            return False
        label = box.get("label")
        if not isinstance(label, str) or not label.strip():
            return False
        x, y = _finite(box.get("x")), _finite(box.get("y"))
        w, h = _finite(box.get("w")), _finite(box.get("h"))
        if None in (x, y, w, h) or w <= 0 or h <= 0:
            return False
        if x < 0 or y < 0 or x + w > width or y + h > height:
            return False
    return True

def ask_about_image(image_bytes, question, width, height):
    raw = call_model(
        inputs={"image": image_bytes, "text": question},
        response_format="boxes",
    )
    if not isinstance(raw, dict):
        return {"ok": False, "boxes": []}
    boxes = raw.get("boxes", [])
    if not boxes_ok(boxes, width, height):
        return {"ok": False, "boxes": []}
    return {"ok": True, "boxes": boxes}

任务定义、拒绝路径和度量方式仍然由你负责：哪些标签算数、检查返回 false 时怎么办、哪些生产图像要用已知答案来打分。在扩大灰度范围之前，先把这套评测写出来。从一小批已有已知边界框的图像开始，并把 schema 失败与标签错误分开统计。

机器人场景：先验证感知，再下发动作

Chain of Thought 第 47 期节目中，Google DeepMind AI 开发者关系负责人 Paige Bailey 展示了一类走得更远的案例：斯坦福开源的 Pupper 机器人用树莓派和 Gemini API 完成视觉，Gemini Live 支持文本转语音和握手、跟随等机器人动作。

这类系统的风险在于，感知输出直接驱动物理动作。边界框如果越界或缺失标签，后果不再只是画错一个矩形，而可能是机器人执行错误动作。所以验证层必须放在动作调用之前，而不是之后。

Gemini Live 是 Gemini API 中支持低延迟、多模态实时交互的接口，能够处理连续音频、视频流并生成语音或文本响应。在 Pupper 机器人案例中，Gemini Live 承担了文本转语音和部分动作指令生成的角色，使机器人能够完成握手、跟随等交互。实时多模态接口的特点是响应快、交互自然，但同样以生成式输出为基础，因此当输出直接驱动物理动作时，必须在动作调用前插入确定性的安全校验层。

微调能提高准确率，但检查不能省

Kilpatrick 明确表示，当用例需要更高可靠性时，微调是值得投入的方向。但微调提升的是模型「答对」的频率，而不是结构化输出的可信度。无论基础模型还是微调模型，返回的都只是一个候选答案。

真正决定生产系统是否可靠的，是模型外面那层确定性的代码检查：坐标边界、数值有效性、标签完整性，加上一套把 schema 失败和语义错误分开统计的评测。这套东西不会因为模型变强而自动出现，也不会因为微调而变得多余。

常见问题

还需要为边界框和目标检测训练定制视觉模型吗？

按照 Kilpatrick 的说法，分割、边界框和目标检测这些工作，通用模型在微调之前就已经能完成。需要更高可靠性时再考虑微调。只有当你的标签体系、摄像头条件或错误预算超出了通用模型上已测量的范围，才值得回到定制模型。

什么样的边界框响应应该被拒绝？

列表为空或类型错误、某个框没有标签、宽或高不是正数、框超出图像范围，这些情况都应该以失败关闭（fail closed）的方式拒绝。这道检查要放在任何消费边界框的界面或机器人指令之前。

为什么多模态上线落后于文本？

Kilpatrick 观察到多模态 AI 基本没有进入生产，而文本部署已经很普遍。视觉优先的智能体还需要新的脚手架，这需要时间。另外他估计，至少一半已经交付 AI 的团队没有好的评测方案。

要点回顾

• 把通用模型返回的分割、边界框和目标检测当作候选答案，先验证结构再用。
• 用例对可靠性要求超过基础模型时，再为微调做预算。
• 在用户或机器人依赖输出之前，先定义好成功标准。
• schema 失败与标签错误要分开统计。
• 脚手架和评测往往落后于演示效果，多模态场景尤其如此。