一次校准,随意扩容:开放词汇分割的风险控制新方法

开放词汇分割中校准后添加类别会破坏风险保证,新方法无需训练即可修复。
本文揭示了开放词汇分割模型在保形风险控制下的一个关键漏洞:当校准后添加新类别名称时,原有的风险上限会失效,在 ADE20K 上 CAT-Seg 的风险从 10% 升至 15.4%。根源在于剪枝、跨标签注意力和词汇归一化导致标签分数相互依赖。作者提出候选无关评分,将每个标签与固定参考库比较,无需训练即可消除依赖,一次校准即可在任意词汇规模下保持保证。在三个基准和五个分割器上验证有效,每像素最多多使用一个标签即可达标,并意外将 Grounding DINO 的推理速度提升约六倍。
开放词汇分割模型允许用户在推理时自由指定类别名称,但一项新研究揭示了一个隐藏的陷阱:当校准后添加新类别时,原本承诺的风险上限会失效。研究者提出了一种无需训练的解决方案,让校准一次就能在任意词汇规模下保持保证。

风险保证为何在词汇增长时失效
开放词汇分割器在推理时接受类别名称作为输入。保形风险控制(Conformal Risk Control)可以为预测集错过真实标签的频率提供上限。然而,该研究发现,当校准之后添加新名称时,这个上限就会被打破。
在 ADE20K 数据集上,针对 150 个名称校准的 10% 风险阈值,在已发布的 CAT-Seg 模型中,当名称增加到 845 个时,风险最高可达 15.4%。风险在每一个校准分割上都超过了目标值,而预测集的增长却远小于目标所需。在 SED 模型中,情况则相反——预测集增长得比需要的更大。
问题的根源在于,剪枝、跨标签注意力和词汇归一化使得每个标签的分数依赖于其他被请求的标签。分数可能朝任一方向移动,因此在更大词汇量下重新校准的阈值,在较小词汇量下未必成立。
保形风险控制(Conformal Risk Control) 是一种基于分布假设的统计框架,用于为机器学习模型的输出提供有限样本、非渐近的风险保证。其核心思想是:利用一个校准数据集,通过构造一个以校准误差为输入的单调函数,来调整预测集的阈值,使得在用户指定的风险水平 α(如错误率上限 10%)下,模型在新测试样本上的期望风险不超过 α。该框架不依赖于模型的具体形式或数据分布,仅要求校准数据与测试数据可交换(exchangeable),因此广泛用于分割、检测等任务中构建具有统计保证的预测集。然而,经典保形风险控制假设预测集的构造方式在校准和测试阶段保持一致,当预测集所依赖的标签集合发生变化时,其保证可能不再成立。
候选无关评分:固定参考库的巧思
研究团队提出了一种无需训练即可消除这种依赖的方法:将每个标签与一个固定的名称参考库进行评分,而不是与当前请求的其他标签比较。这样,当添加新名称时,标签的分数保持不变,一次校准就能在词汇增长时维持其保证。
这种保证适用于任何添加的名称,甚至包括每张图像在看到之后才选择的名称。在三个基准和五个分割器上,转换后的模型在评估的每个词汇规模下都达到了目标。对于 CAT-Seg 和 SED 在 alpha=10% 时,它们每像素最多比在增长词汇下重新校准的已发布模型多使用一个标签。
跨标签注意力(cross-label attention) 是开放词汇分割模型中的一种常见设计,它让每个类别的查询(query)与所有被请求类别的文本嵌入进行交互,从而动态地聚合上下文信息。这种机制能提升分割精度,但也导致每个标签的分数不再是独立计算的:当请求的标签集合变化时,注意力权重会重新分配,进而改变每个标签的预测分数。类似地,词汇归一化(vocabulary normalization) 对所有被请求标签的分数进行 softmax 或类似归一化,使得一个标签的概率依赖于其他标签的存在与否。剪枝(pruning) 则可能在推理时丢弃低置信度的标签,进一步引入标签间的竞争。这些操作共同破坏了分数与标签集合的独立性,是保形风险控制在词汇增长时失效的根本原因。
名称作为校准样本:额外的风险边界
研究还发现,将名称而非图像作为校准样本,可以为新增名称的漏检率提供边界。如果标注名称是校准图像中名称的随机样本,那么新增名称在这些图像上的预期漏检率最多为目标值。对于更难的添加名称,超出量最多为其平均漏检率差距。
Grounding DINO 是一种开放集目标检测模型,它接受文本提示作为输入,并通过将图像区域与文本嵌入对齐来定位目标。由于文本词汇量可能非常大,Grounding DINO 在推理时将词汇分成多个块(chunk)分别处理,每个块独立计算图像-文本相似度,最后合并结果。这种分块策略虽然降低了显存压力,但块与块之间的分数可能缺乏全局归一化,导致效率与一致性之间的权衡。本文提出的候选无关评分方法通过固定参考库消除了标签间的依赖,使得每个标签的分数可以独立计算,从而允许更高效的分块并行处理,这解释了推理速度提升约六倍的来源。
意外收获:推理速度提升
将这一方法应用于 Grounding DINO(它将大词汇量分成块处理)时,转换还使推理速度提升了约六倍。这展示了该方法在效率方面的额外优势。
这项研究揭示了开放词汇分割中一个被忽视的风险控制漏洞,并提供了一种简洁有效的解决方案。通过消除标签分数之间的相互依赖,它让模型能够在词汇动态增长时依然保持可靠的风险保证,同时还能带来推理加速。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。