校准
概率预测领域的评估指标，指模型给出的置信度与实际发生频率相符的程度，是评价大语言模型预测可靠性的重要维度
核心事实
时间轴 (近 90 天)
保形预测的校准阶段需要大量已验证标签，而标签验证代价高昂，构成实际应用中的成本瓶颈
传统安全校准针对特定模型状态的快照，一旦模型权重通过在线学习发生变化，原有阈值与新模型的对应关系即失效
未经校准的神经网络通常存在过度自信（overconfidence）问题，在分布外数据上尤为严重
当前主流大语言模型普遍存在过度自信问题，部分原因在于训练目标优化的是预测下一个词的流畅度而非输出的实际可靠度
改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准，以及训练模型主动输出拒绝回答的能力
让AI系统学会恰当地表达不确定性可能和提升其准确率同样重要
LLM输出的概率分数（logprobs）与校准过的置信度存在本质差异，大型语言模型普遍存在过度自信问题，在分布外样本上尤为明显
置信度校准的工程缓解手段包括温度缩放对logprobs后校准、引入独立验证模型打分、或通过多次采样统计结果一致性
当AI给出错误答案时，问题往往出在向量化方式或检索参数上，而非模型本身
模型校准（calibration）在统计学中定义为：若模型声称某答案有70%置信度，则大量此类声明中实际正确的比例应接近70%
还有 1 条时间轴事件
全部知识事实 (12)
模型校准（calibration）在统计学中定义为：若模型声称某答案有70%置信度，则大量此类声明中实际正确的比例应接近70%
75%已验证当AI给出错误答案时，问题往往出在向量化方式或检索参数上，而非模型本身
65%待验证大模型普遍存在过度自信的问题，需要通过提示词工程和校准策略来校准置信度
85%待验证保形预测的校准阶段需要大量已验证标签，而标签验证代价高昂，构成实际应用中的成本瓶颈
50%待验证传统安全校准针对特定模型状态的快照，一旦模型权重通过在线学习发生变化，原有阈值与新模型的对应关系即失效
50%待验证未经校准的神经网络通常存在过度自信（overconfidence）问题，在分布外数据上尤为严重
50%待验证当前主流大语言模型普遍存在过度自信问题，部分原因在于训练目标优化的是预测下一个词的流畅度而非输出的实际可靠度
50%待验证改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准，以及训练模型主动输出拒绝回答的能力
50%待验证让AI系统学会恰当地表达不确定性可能和提升其准确率同样重要
50%待验证LLM输出的概率分数（logprobs）与校准过的置信度存在本质差异，大型语言模型普遍存在过度自信问题，在分布外样本上尤为明显
50%待验证置信度校准的工程缓解手段包括温度缩放对logprobs后校准、引入独立验证模型打分、或通过多次采样统计结果一致性
50%待验证校准良好的人说'我有70%把握'时，这类判断的实际成功率应该接近70%
50%