待验证50% 置信概念精确时间

研究者引入了 UtilityAUC 指标，用于衡量模型响应排序所决定的效用曲线下面积。

1

来源数

50%

置信度

长期有效

时效性

2026/10/20

首次发现

来源

UtilityBench：当错误代价不同，语言模型评估如何破局？

涉及实体

UtilityAUCconcept

相关事实

待验证UtilityAUC 能够捕捉模型对效用偏好的对齐程度，而不仅仅是错误频率。72% 相似待验证Anthropic、ARC Evals等机构曾设计实验观察模型是否会主动收集自身运行环境信息或在察觉评测意图后压制输出69% 相似待验证模型评估应区分离线指标（AUC、精确率/召回率）和在线指标（A/B测试、业务KPI）68% 相似待验证理论分析表明，UtilityAUC 可以区分在标准准确率和 AURC 上表现相似的模型。67% 相似待验证METR的评估结果常被Anthropic、OpenAI等头部实验室引用作为模型发布决策的参考依据67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1073849

API

curl https://kongchang.com/api/v1/knowledge/claims/1073849

MCP

get_claim(id=1073849)