潜推理探针为何失效？最小对揭示「存在却难读」的真相

探针研究的盲区：读不到不等于不存在

关于大模型「潜推理」的探针研究，常有一个默认假设：如果在答案开始的位置读不出某个信息，就说明模型内部没有表征这个信息。但一篇题为 Present but Hard to Read: Probing Latent Reasoning with Minimal Pairs 的工作对此提出了直接挑战。

研究者用循环模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B 做了一个极简实验：让问题中只差一个数字，其余完全相同。结果发现，这个数字在最后一个提示 token 处确实存在，并且以一种跨问题共享的编码方式被表征——读出准确率约 0.9。然而，当探针一次只看一个提示（即通常的设定）时，即使训练了 5,249 个问题，Ouro 的读出率仅有 0.36，Qwen 更是只有 0.19。

这组数字的对比说明，传统探针的失败更多反映的是读取方法的局限，而非模型内部信息的缺失。

探针（Probe） 是一种在模型内部表征上训练简单分类器（如线性回归）的方法，用于检测特定信息（如词性、事实、中间计算结果）是否以线性可读的形式编码在隐藏状态中。通常做法是：收集模型在处理大量输入时的激活向量，用这些向量训练探针预测目标标签，然后在新的输入上测试探针的读出准确率。然而，传统探针往往只利用单个提示（prompt）的最后 token 状态来训练和评估，这隐含假设了信息在该位置以线性方式可分离。本文的核心正是挑战这一假设：当信息在单提示状态下信号微弱时，探针的失败可能源于读取方法而非信息缺失。

不是信息太挤，而是信号太弱

一个自然的解释是：模型状态中承载了太多信息，目标数字被「挤」得难以分辨。但实验否定了这种「拥挤假说」。

研究者发现，数字变化引起的状态偏移其实很小，而且随机噪声也能落在同等「繁忙」的方向上。相比之下，如果把那个数字换成一个随机单词，状态的变化幅度要大得多，也更容易被读出。换句话说，问题不在于信息太多，而在于这个被复制的数字留下的痕迹本身就很微弱。

更麻烦的是，由于每个变化的 token 都会留下痕迹，一个成功的探针结果也存在歧义——它可能读到了计算出的值，也可能只是读到了输入的副本或混合。

最小对（minimal pairs） 是语言学与心理语言学中的经典实验设计：构造两个句子，除一个关键成分外其余完全相同（例如仅数字不同），通过比较模型对这两句的内部表征差异，来隔离该成分的贡献。在本研究中，最小对让研究者能够精确测量单个数字 token 引起的状态变化，而不是被其他因素干扰。这种设计有助于区分“信息是否存在”和“信息是否可读”：如果最小对之间的状态差异确实存在但很小，那么即使探针读不出来，也不能断言模型没有编码该信息。

一套区分「计算值」与「输入痕迹」的协议

针对上述歧义，作者提出了一套测试协议，核心是引入一个合成零假设（synthetic null），用来模拟通用的混合效应。这套协议可以检验探针读到的究竟是模型计算出的中间值，还是输入副本或混合的产物。

在两步骤问题的预注册研究中，这套协议在 Ouro 写出答案最后一位数字之前，捕捉到了一个关于未写出的中间值 a+b 的微弱信号，而且信号的符号会跟随运算类型变化。不过研究也诚实指出，仅靠混合效应就能产生相当一部分这种「符号跟随」现象。

合成零假设（synthetic null） 是一种统计对照方法：研究者人工构造一个“零假设”数据集，其中目标信号被替换为随机噪声或通过混合模型生成的伪信号，用以模拟探针可能因输入痕迹或混合效应而产生的虚假阳性结果。通过比较真实数据上探针的表现与零假设下的表现，可以判断探针读出的信息是真实的计算值，还是仅仅反映了输入 token 的副本或混合。这种方法有助于提高探针结论的可靠性，避免将混合效应误判为模型的内部计算。

可读但未用：潜推理的最后一公里

研究中最耐人寻味的结果来自干预实验。当研究者从第一个循环开始，把某个问题的中间值「保持」为另一个问题的对应值时，写出的数字并没有向另一个问题的答案靠拢。而如果对答案本身做同样的 patch，数字则会发生移动。

这意味着，那个中间值虽然可以被读出，却没有被模型实际使用。作者用一句话概括：the value is readable but not used。

这一发现对潜推理研究的方法论提出了双重提醒：探针读不出，不代表不存在；探针读出了，也不代表被使用。理解模型内部表征，需要同时追问「是否可读」与「是否被用」两个问题。

干预实验（intervention experiment） 是因果推断中常用的手段：通过人为改变模型内部的某个激活值（例如将某个中间表征替换为另一个输入的对应值），观察模型输出是否随之改变。如果输出改变，说明该表征被模型用于计算；如果输出不变，则说明该表征虽然存在但未被使用。本文中的“patch”即指这种激活替换操作。干预实验能够区分“可读”与“被用”：探针只能说明信息可被解码，而干预才能证明信息因果地影响了模型行为。

对探针方法论的启示

这项工作并没有否定探针研究的价值，而是把它推向了更精细的层次。最小对（minimal pairs）设计让研究者能够分离出单个 token 的贡献，合成零假设则提供了一个必要的对照基线。对于依赖探针结论来推断模型「知道什么」的研究来说，这些控制手段应当成为标准配置。

从更广的视角看，「存在却难读」和「可读却未用」这两个发现，共同描绘了一幅比「模型内部有/没有某信息」更复杂的图景。潜推理的表征、读取与使用，是三个需要分别检验的环节。