概念Phase Shift / 概率坍缩
相变
描述大语言模型推理过程中概率分布突变的现象,即在某个关键token位置,模型对候选答案的不确定性突然坍缩锁定为单一结果,类比物理学中的相变
时间轴 (近 90 天)
10月8日
论文发现预测的期望和方差会在不同的尺度上发生相变,二者并不同步
待验证50%
描述大语言模型推理过程中概率分布突变的现象,即在某个关键token位置,模型对候选答案的不确定性突然坍缩锁定为单一结果,类比物理学中的相变
论文发现预测的期望和方差会在不同的尺度上发生相变,二者并不同步