语言子空间干预：准确率之外的真相

语言子空间干预（language-subspace interventions）被视为提升多语言推理能力的一种手段：在模型中间层激活中抑制与语言相关的成分。但这类方法真的有效吗？一篇新论文通过MATH和MGSM两个数学推理数据集，在四个开源权重的大语言模型上系统检验了三个关键问题：估计出的语言子空间是否捕获了与翻译相关的变异？将这些子空间投影出去能否移除语言信息？以及它们能否在不损害回答语言的情况下提升准确率？

方法：Mean-SVD与DiffPCA

研究采用了两种构建语言子空间的方法：已有的Mean-SVD构造，以及作者提出的DiffPCA。两者都旨在从模型激活中分离出语言相关的方向。

在第一个问题上，两种子空间都捕获了相当程度的翻译相关变异，并且在不同模型深度上表现出相似的模式。这意味着无论使用哪种方法，都能在一定程度上“抓住”语言信号。

线性探针（linear probes） 是一种常用的可解释性分析工具：在模型的中间层激活上训练一个简单的线性分类器，用来检测某种信息（如语言类别）是否仍然线性可分。如果探针能从激活中高精度地预测出目标属性，就说明该属性信息以线性方式编码在激活中。在本文中，研究者正是利用线性探针来检验投影操作是否真正移除了语言信息——若投影后探针仍能完美分类语言，则说明子空间并未穷尽语言信号。线性探针的优点在于简单、可解释，但它只能检测线性可分的信息，无法排除非线性编码的可能性。

Mean-SVD 与 DiffPCA 是两种从模型激活中提取语言子空间的方法。Mean-SVD 通过对不同语言的激活均值向量做奇异值分解（SVD），取主要奇异向量作为语言方向；DiffPCA 则先计算同一语义在不同语言下的激活差异，再对差异矩阵做主成分分析（PCA），以捕获与语言转换最相关的方向。两者都假设语言信息集中在一个低维子空间中，从而可以通过投影移除。然而，子空间的维度选择、是否覆盖全部语言变异，都会影响干预效果，这也是本文检验其是否穷尽语言信息的原因。

投影后语言信息仍可被完美分类

第二个问题更为关键：把子空间投影出去后，语言信息真的消失了吗？研究者投影掉每个子空间，然后训练线性探针（linear probes）从投影后的激活中分类语言。

结果出人意料：探针几乎仍能完美识别语言。这说明无论Mean-SVD还是DiffPCA，都没有穷尽性地捕获语言信息。也就是说，投影操作移除的只是语言信号的一部分，而非全部。

准确率提升与语言保真度的权衡

第三个问题聚焦于干预效果。研究者在Qwen2.5-7B上评估了多种干预配置，变化子空间创建方法和干预算子。

发现提升MGSM准确率最多的干预，恰恰牺牲了回答语言的保真度。只有一种干预略微提升了联合准确率——即答案正确且使用目标语言——仅提高了1.60个点。

更有趣的是，仅对提示（prompt）做细微改动就能复现准确率增益，但语言保真度会显著受损。这表明准确率提升可能并非来自对语言子空间的因果干预，而是其他因素。

联合准确率（joint accuracy） 是本文提出的关键评估指标，指模型给出的答案既正确、又使用目标语言回答的比例。传统评估只关注答案正确性，可能掩盖模型通过切换到更擅长的语言（如英语）来“作弊”提升准确率的现象。联合准确率同时惩罚语言错误和答案错误，因此能更真实地反映多语言推理能力。本文发现，多数干预虽然提升了 MGSM 准确率，却牺牲了语言保真度，导致联合准确率几乎不变甚至下降；仅一种干预将联合准确率提升 1.60 个点，说明准确率与语言保真度之间存在明显的权衡。

干预评估需要超越准确率

作者的核心论点是：因果干预必须基于更多指标来评判，而不仅仅是准确率，这样才能充分考量语言替换（language substitution）的权衡。

在 multilingual 推理中，模型可能通过切换到更擅长的语言（如英语）来提升准确率，但这违背了多语言应用的初衷。因此，评估语言子空间干预时，需要同时考察准确率和语言保真度，避免“虚假提升”。

这项研究提醒我们，在追求更高准确率的同时，不能忽视模型行为是否符合预期。对于多语言推理的干预方法，需要更全面的评估框架。