概率校准
机器学习中通过Platt Scaling、Isotonic Regression等后处理技术，使分类模型输出的置信度概率与真实频率更加吻合的方法，解决模型过度自信问题
核心事实
时间轴 (近 90 天)
对于PD模型，校准质量直接影响预期损失计算；一个AUC很高但概率校准糟糕的模型可能导致拨备计提失真。
仅有准确率无法支撑门控阈值，决策模型必须良好校准，使输出的概率值能够反映真实发生率。
模型输出的概率校准往往存在偏差，尤其在训练数据分布内看似熟悉的模式上会给出过高置信度。
原始素材没有提到 Nimble 是否内置校准，因此实际接入前最好先用已知样本画可靠性图确认概率分布是否可用。
模型校准指的是模型输出概率与其实际正确率相匹配的程度；一个校准良好的模型，若对某类问题给出的概率是0.8，则这类问题大约有80%确实答对。
LLM输出的置信度来自logits或token概率，是模型内部的相对偏好，并不等同于事件发生的真实频率，即模型可能过度自信。
未校准的模型若直接套用固定阈值做自动决策，会系统性地高估或低估风险，因此上线前应绘制可靠性图并评估ECE等指标。
常规训练（如交叉熵损失）只惩罚预测错误而不约束概率校准质量，导致模型存在过度自信或过度保守的问题
模型报出的概率（如90%）指的是模型对自己分类判断的把握程度，与业务紧急程度无关
概率能帮助管理一批请求的整体风险，但不能对单一请求做出保证
还有 5 条时间轴事件
全部知识事实 (15)
校准后的置信度意味着当系统给出 0.9 的分数时，其正确概率应接近 90%
75%已验证「校准良好」的概率判断是指当模型说某件事有70%概率发生时，大量类似预测中该事件真实发生频率接近70%
65%已验证概率校准是指将模型输出的预测分数转化为真实概率估计的后处理技术，常用方法包括 Platt Scaling 和 Isotonic Regression
65%部分验证模型校准指的是模型输出概率与其实际正确率相匹配的程度；一个校准良好的模型，若对某类问题给出的概率是0.8，则这类问题大约有80%确实答对。
75%待验证对于PD模型，校准质量直接影响预期损失计算；一个AUC很高但概率校准糟糕的模型可能导致拨备计提失真。
50%待验证仅有准确率无法支撑门控阈值，决策模型必须良好校准，使输出的概率值能够反映真实发生率。
50%待验证模型输出的概率校准往往存在偏差，尤其在训练数据分布内看似熟悉的模式上会给出过高置信度。
50%待验证原始素材没有提到 Nimble 是否内置校准，因此实际接入前最好先用已知样本画可靠性图确认概率分布是否可用。
50%待验证LLM输出的置信度来自logits或token概率，是模型内部的相对偏好，并不等同于事件发生的真实频率，即模型可能过度自信。
50%待验证未校准的模型若直接套用固定阈值做自动决策，会系统性地高估或低估风险，因此上线前应绘制可靠性图并评估ECE等指标。
50%待验证常规训练（如交叉熵损失）只惩罚预测错误而不约束概率校准质量，导致模型存在过度自信或过度保守的问题
50%待验证模型报出的概率（如90%）指的是模型对自己分类判断的把握程度，与业务紧急程度无关
50%待验证概率能帮助管理一批请求的整体风险，但不能对单一请求做出保证
50%待验证研究发现决策时点泄漏问题：控制器在做决策时偷看了本不该在该时刻可用的未来信息，会系统性高估预测带来的收益
50%待验证决策质量高度依赖后验概率P(y|x)的准确性，模型过度自信会导致期望损失计算系统性偏差，建议先做Platt scaling或isotonic regression等概率校准
50%