校准
概率预测领域的评估指标，指模型给出的置信度与实际发生频率相符的程度，是评价大语言模型预测可靠性的重要维度
Core Facts
Timeline (last 90 days)
保形预测的校准阶段需要大量已验证标签，而标签验证代价高昂，构成实际应用中的成本瓶颈
传统安全校准针对特定模型状态的快照，一旦模型权重通过在线学习发生变化，原有阈值与新模型的对应关系即失效
一个准确率略低但置信度校准良好的模型往往比准确率更高却盲目自信的模型更适合投入生产环境
未经校准的神经网络通常存在过度自信（overconfidence）问题，在分布外数据上尤为严重
改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准，以及训练模型主动输出拒绝回答的能力
当前主流大语言模型普遍存在过度自信问题，部分原因在于训练目标优化的是预测下一个词的流畅度而非输出的实际可靠度
让AI系统学会恰当地表达不确定性可能和提升其准确率同样重要
置信度校准的工程缓解手段包括温度缩放对logprobs后校准、引入独立验证模型打分、或通过多次采样统计结果一致性
LLM输出的概率分数（logprobs）与校准过的置信度存在本质差异，大型语言模型普遍存在过度自信问题，在分布外样本上尤为明显
当AI给出错误答案时，问题往往出在向量化方式或检索参数上，而非模型本身
2 more timeline events
All Facts (13)
模型校准（calibration）在统计学中定义为：若模型声称某答案有70%置信度，则大量此类声明中实际正确的比例应接近70%
75%Verified当AI给出错误答案时，问题往往出在向量化方式或检索参数上，而非模型本身
65%Unverified大模型普遍存在过度自信的问题，需要通过提示词工程和校准策略来校准置信度
85%Unverified保形预测的校准阶段需要大量已验证标签，而标签验证代价高昂，构成实际应用中的成本瓶颈
50%Unverified传统安全校准针对特定模型状态的快照，一旦模型权重通过在线学习发生变化，原有阈值与新模型的对应关系即失效
50%Unverified一个准确率略低但置信度校准良好的模型往往比准确率更高却盲目自信的模型更适合投入生产环境
50%Unverified未经校准的神经网络通常存在过度自信（overconfidence）问题，在分布外数据上尤为严重
50%Unverified当前主流大语言模型普遍存在过度自信问题，部分原因在于训练目标优化的是预测下一个词的流畅度而非输出的实际可靠度
50%Unverified改善模型校准的研究方向包括通过监督微调引入不确定性标记、使用温度采样对概率分布进行后校准，以及训练模型主动输出拒绝回答的能力
50%Unverified让AI系统学会恰当地表达不确定性可能和提升其准确率同样重要
50%UnverifiedLLM输出的概率分数（logprobs）与校准过的置信度存在本质差异，大型语言模型普遍存在过度自信问题，在分布外样本上尤为明显
50%Unverified置信度校准的工程缓解手段包括温度缩放对logprobs后校准、引入独立验证模型打分、或通过多次采样统计结果一致性
50%Unverified校准良好的人说'我有70%把握'时，这类判断的实际成功率应该接近70%
50%