UtilityBench：当错误代价不同，语言模型评估如何破局？

主流语言模型评估通常将错误一视同仁，只关心答案是否正确，却忽略了不同场景下错误代价的巨大差异。在医疗等高风险领域，一次失误可能危及生命。为此，研究者提出了一种基于效用的评估范式，并构建了 UtilityBench 基准和 UtilityAUC 指标，旨在衡量模型在考虑错误后果时的决策质量。

为什么需要新的评估范式

传统评估协议，如准确率，将所有错误等同看待。但在现实应用中，错误的后果千差万别：在医疗诊断中，一个误诊可能导致严重后果；而在一般问答中，错误的影响则小得多。这种“一刀切”的评估方式无法反映模型在真实场景中的效用。

研究者指出，语言模型的错误影响远不止正确性所能捕捉。为此，他们提出了基于效用的评估范式，明确将错误的不同后果纳入考量。这一范式引导模型在不确定时选择回答或弃权，从而做出与场景重要性相匹配的决策。

选择性预测（selective prediction）是指模型在不确定时可以选择弃权（abstain），将样本交由人类或后续流程处理。这一机制在医疗、金融等高风险场景中尤为重要，因为弃权的代价通常低于给出错误答案的代价。基于效用的评估范式将选择性预测与错误后果结合：模型不仅要决定“答什么”，还要决定“是否该答”。当错误代价高时，弃权可能是更优策略；当错误代价低时，回答则更划算。这种决策框架使评估从单纯的正确性转向期望效用最大化。

UtilityBench：量化错误严重性的大规模基准

为了量化错误严重性，研究团队构建了 UtilityBench，包含 15,000 个带有可验证答案的实例。他们采用最佳最差缩放法（Best-Worst Scaling）来获取数据驱动的成本估计，从而为每个实例赋予有意义的效用值。

这些量化的效用值塑造了模型何时应该回答或弃权的策略，引导模型做出与每个场景真实重要性一致的决策。例如，在错误代价高的场景中，模型可能更倾向于弃权，以避免潜在的高成本错误。

最佳最差缩放法（Best-Worst Scaling，BWS）是一种心理测量学中常用的偏好获取方法。在传统的主观评分中，标注者往往难以给出稳定的绝对分数，而 BWS 要求标注者从一组选项中选出“最好”和“最差”的两个，通过多次比较来推导出各选项的相对效用值。这种方法能有效降低评分偏差、提高区分度，并且对标注者的一致性要求较低。在 UtilityBench 的构建中，研究者利用 BWS 让标注者比较不同错误后果的严重程度，从而获得数据驱动的、可跨实例比较的成本估计，为每个实例赋予有意义的效用值。

UtilityAUC：超越错误频率的效用偏好对齐

除了基准，研究者还引入了 UtilityAUC 指标，它衡量模型响应排序所决定的效用曲线下的面积。与传统的准确率或 AURC（风险-覆盖率曲线下面积）不同，UtilityAUC 能够捕捉模型对效用偏好的对齐程度，而不仅仅是错误频率。

理论分析表明，UtilityAUC 可以区分那些在标准准确率和 AURC 上表现相似的模型。这意味着，即使两个模型的准确率相同，它们在高代价错误上的表现可能截然不同，而 UtilityAUC 能够揭示这种差异。

AURC（风险-覆盖率曲线下面积，Area Under the Risk-Coverage Curve）是选择性预测（selective prediction）领域的经典指标。它刻画的是：当模型被允许按置信度排序并逐步弃权时，其风险（错误率）随覆盖率下降的变化情况。AURC 关注的是错误频率，但将所有错误视为等价。UtilityAUC 在此基础上引入效用权重，使高代价错误在曲线积分中占更大比重。因此，两个 AURC 相同的模型，若在高代价样本上的错误分布不同，其 UtilityAUC 会有显著差异，这正是 UtilityAUC 能够区分“准确率相同但效用不同”模型的原因。

实验发现：准确率高不等于效用高

研究团队评估了 20 个最先进的模型，发现更高的准确率或更先进的架构并不总能带来更高的 UtilityAUC。这一发现凸显了问题解决能力与负责任决策之间的差距。

换句话说，一个在传统基准上得分很高的模型，可能在权衡错误代价时表现不佳。这提示我们，在部署语言模型时，需要更加关注其在效用层面的表现，而不仅仅是准确率。

对行业的影响

UtilityBench 和 UtilityAUC 的提出，为语言模型评估提供了新的视角。在高风险领域，如医疗、金融和法律，这种基于效用的评估方法可以帮助开发者选择更负责任的模型，并指导模型在不确定时做出更安全的决策。

随着语言模型在现实世界中的广泛应用，这种考虑错误代价的评估范式有望成为标准实践，推动模型从“正确”走向“负责任”。