线性可读的知识，才会在微调后泛化

语言模型能背下来的事实，并不都能支持进一步学习。一项新研究把预训练模型里的事实分成两类：活跃事实与惰性事实。前者能在微调后超越自身的记忆范围、支持泛化；后者虽然也能被回忆出来，却无法在同一任务中产生泛化能力。真正决定新关系能否泛化的，不是事实能否被回忆，而是它们的共享结构在预训练表示中是否容易被线性读出。

实验怎么设计的

研究者的做法很巧妙：用已有关系构造出全新的关系。比如“地点→所属大洲”这个关系里，Paris 对应 Europe。现在给每个答案分配一个任意的新标签——Europe 变成 crab，Asia 变成 zebra。于是新关系就变成了 Paris → crab。

关键在于，微调时不告诉模型原始关系，也不告诉它这套重命名规则。研究者只在一部分主体上微调新关系，然后测试模型能否把对应标签分配给那些在原始关系中共享同一答案、但被留出的主体。换句话说：模型学会了 Paris → crab 之后，它会不会回答 Munich → crab？

这个设计把“记住”和“泛化”干净地分开了。模型完全有机会在微调数据里记住 Paris → crab，但 Munich → crab 需要它自己把“Munich 和 Paris 同属欧洲”这个预训练知识迁移过来。

线性可读性是最强预测因子

跨 11 个语言模型、70 个关系，结果高度一致：原始关系在预训练表示中有多容易被线性读出，强烈预测了微调后的泛化表现。在同一模型内部，这两个指标跨关系相关，Pearson r 达 0.87 到 0.92。

这个关联在控制了多个变量后依然稳健，包括微调主体数量和答案数量、模型在原始关系上的准确率，以及这些主体在预训练文本中出现的频率。它也经得起标签重随机化和微调随机种子的重跑，把动物标签换成其他 13 个语义类别的标签后结论不变。

也就是说，泛化能力的差异不是数据量、不是准确率、也不是词频带来的，而是表示结构本身的性质。

线性探针（linear probe）是机制可解释性研究中常用的一类工具：在模型某一层的激活表示之上，训练一个简单的线性分类器（通常是逻辑回归），用它的准确率来衡量某个语义属性是否已被模型以一种“线性可分”的方式编码。之所以强调“线性”，是因为线性可读意味着该属性在表示空间中大致沿着某个固定方向分布，模型下游计算只需做一次加权求和即可提取，代价低、稳定性高。相反，如果属性只能通过多层非线性变换才能恢复，就说明它在表示中纠缠得较深，微调时更难以被有效利用。线性探针通常只在少量标注数据上训练，不反向传播更新原模型，因此它测的是“表示里已有什么”，而不是“模型能学什么”。本文正是用这一指标来预测新关系微调后能否泛化的。

Pearson 相关系数 r 衡量两个连续变量之间的线性相关强度，取值在 -1 到 1 之间：接近 1 表示强正相关，接近 0 表示几乎无线性关系。在本文语境下，r = 0.87 到 0.92 意味着，在同一模型内部，某个关系的线性可读性越高，它在微调后让模型把新标签迁移到留出主体上的表现就越好，且这种同步变化的趋势非常紧密。需要留意的是，相关不等于因果，但对多个潜在混淆变量（样本量、准确率、词频等）进行控制后关联依然存在，使得“表示结构本身在起作用”这一解释更为可信。

错误标签能反推出“正确”答案

一个更能说明问题的细节：研究者把微调模型答错的标签，映射回它最初被分配到的原始答案。比如模型回答 Munich → zebra，而 zebra 对应的是 Asia，那就还原成 Munich → Asia。

这些被还原出来的答案，比预训练模型自己给出的答案更常出现在线性探针对该主体的 top 答案里。这说明模型在微调后学到的并非纯粹的噪声，而是原始关系结构的某种投影——只是它没能沿对的方向表达出来。

为什么这重要

这项发现改变了对“模型知道什么”的判断标准。过去我们常用回忆准确率衡量模型是否掌握某个事实，但回忆准确并不代表这份知识能被用于新任务。

在实践中，这意味着：如果想让模型通过微调学会一种新关系，先检查它在预训练表示里是否已经线性编码了对应的旧结构。对于线性可读性差的关系，单纯增加微调样本可能收效有限。反过来，这也给了一条可行的诊断路径——用线性探针提前判断哪些知识值得投入微调。