概念AUC / AUC-ROC / 受试者工作特征曲线下面积
ROC-AUC
衡量二分类模型在不同决策阈值下综合判别能力的标准评估指标,值域为0到1,0.5表示随机猜测,1.0为完美分类,广泛用于机器学习模型性能评估
时间轴 (近 90 天)
10月16日
ReachNT 的紧迫性模型在未见过的措辞上 ROC-AUC 为 0.84,作为包含人工审核的整体系统的一部分能捕获 99.3% 的危险工单。
待验证50%
10月16日
校准与判别力是两个独立指标:判别力衡量模型把正例排在负例之前的能力(如 ROC-AUC),校准衡量模型输出概率与真实频率是否吻合;常用校准度量包括期望校准误差(ECE)与可靠性图,修正手段有 Platt 缩放、等渗回归与温度缩放。
待验证50%
10月9日
一位学习者在该数据集上检测伪造收据时,无论如何调整模型,ROC-AUC 始终徘徊在 0.46–0.54 之间,接近随机猜测
待验证50%
10月9日
使用冻结视觉特征的方案 ROC-AUC 只有 0.482,本质上模型什么都没学到
待验证50%
全部知识事实 (4)
待验证
ReachNT 的紧迫性模型在未见过的措辞上 ROC-AUC 为 0.84,作为包含人工审核的整体系统的一部分能捕获 99.3% 的危险工单。
50%待验证校准与判别力是两个独立指标:判别力衡量模型把正例排在负例之前的能力(如 ROC-AUC),校准衡量模型输出概率与真实频率是否吻合;常用校准度量包括期望校准误差(ECE)与可靠性图,修正手段有 Platt 缩放、等渗回归与温度缩放。
50%待验证使用冻结视觉特征的方案 ROC-AUC 只有 0.482,本质上模型什么都没学到
50%待验证一位学习者在该数据集上检测伪造收据时,无论如何调整模型,ROC-AUC 始终徘徊在 0.46–0.54 之间,接近随机猜测
50%