过度自信

早期大语言模型存在严重的过度自信问题，对不确定的答案也倾向于给出确定性表述，即幻觉现象

目前主流大语言模型在置信度校准和选择性弃权方面均存在明显缺陷，往往过度自信，且面对超出训练分布的问题倾向于给出流畅但错误的回答

对于模型能够回忆出正确值的分子，LLM报告的不确定性更小，表明当依赖记忆时模型会表现出过度自信。

在初始合成农场轨迹上，模型过度自信：声称“95%确信电池电量高于30%”时，实际命中率只有78%。