#线性探针

线性探针准确率高，就证明模型学到了线性表征吗？

线性探针准确率高是否意味着模型学到了线性表征？最新研究指出这一检验标准过于宽松，随机特征映射也能通过。文章提出反向预测性、谱集中度和OOD泛化三个诊断指标，揭示预训练模型表征几何与线性世界模型的差距。