可靠性图
用于评估概率预测校准质量的可视化工具,将预测概率分档后与各档实际正确率对比,直观展示预报系统的校准程度
核心事实
时间轴 (近 90 天)
校准概率是统计学和机器学习的基础概念,常用衡量指标包括可靠性图(reliability diagram)和期望校准误差(ECE),常用后处理校准方法包括 Platt scaling、Isotonic regression 或 temperature scaling。
Brier 分数与可靠性图是最常用的校准度量工具,它们都要求存在一张预测值与真实结果的对应表。
分箱/分档是把连续所报数值切成若干区间后逐桶统计实际命中率的做法,其关键纪律是先定桶后看数,否则会制造看似校准的假象。
可靠性图是ECE的可视化形式,理想校准的模型应在图上呈现一条对角线
校准程度通常用可靠性图(reliability diagram / calibration curve)来可视化,横轴为置信度、纵轴为该区间样本实际准确率
全部知识事实 (6)
校准程度通常用可靠性图(reliability diagram / calibration curve)来可视化,横轴为置信度、纵轴为该区间样本实际准确率
75%已验证常用的校准评估指标包括期望校准误差(ECE)和可靠性图(Reliability Diagram)
75%待验证校准概率是统计学和机器学习的基础概念,常用衡量指标包括可靠性图(reliability diagram)和期望校准误差(ECE),常用后处理校准方法包括 Platt scaling、Isotonic regression 或 temperature scaling。
50%待验证Brier 分数与可靠性图是最常用的校准度量工具,它们都要求存在一张预测值与真实结果的对应表。
50%待验证分箱/分档是把连续所报数值切成若干区间后逐桶统计实际命中率的做法,其关键纪律是先定桶后看数,否则会制造看似校准的假象。
50%待验证可靠性图是ECE的可视化形式,理想校准的模型应在图上呈现一条对角线
50%