概念Calibration / 模型校准
校准度
衡量模型输出概率与实际正确率一致性的指标体系,常用Brier分数量化,校准良好的模型其置信度输出应与真实准确率相匹配
核心事实
时间轴 (近 90 天)
10月12日
模型在欠定问题(没有唯一正确答案的问题)上表现出最高置信度(95%),呈现反向校准现象。
待验证50%
10月12日
校准度衡量模型报告的置信度与实际正确率是否一致;未经验证的置信度接口可能误导下游决策,不应上线。
待验证50%
10月8日
校准度(calibration)指模型给出的预测概率与实际发生频率的一致性,常用量化方式包括 Brier Score 和校准曲线
已验证65%
10月8日
预测市场的每个问题只结算一次,单次结果无法区分预测准确与运气好,需在数百个已结算问题上积累数据才能做统计上有意义的校准比较
待验证50%
10月5日
建议在自动化流程中设置置信度阈值,当模型不确定时自动转接人工处理
待验证50%