免训练多语言文本嵌入新突破：PRSR让LLM跨语言对齐更精准

多语言文本嵌入的盲区：免训练方法为何在非英语语言上失效

从冻结的大语言模型（LLM）中直接提取文本嵌入，已成为一种有前景的方向。然而，现有方法几乎只关注英语，多语言场景在很大程度上被忽视。近期一篇论文首次系统性地研究了LLM中的多语言免训练文本嵌入，揭示了一个关键问题：语义等价的句子在不同语言之间仍然存在错位，形成了一种语言条件化的嵌入几何。

这意味着，即使句子意思完全相同，LLM为不同语言生成的嵌入向量在空间中并不重合。这种语言特异性变异干扰了语义内容的表达，降低了嵌入质量。研究者提出假设：语言特异性的变异可以与语义内容解耦，从而提升嵌入质量。

免训练文本嵌入（training-free text embedding）指不微调模型参数，直接利用预训练语言模型（如LLM）的中间隐藏状态或输出作为句子表示的方法。典型做法包括取最后一层token的隐藏状态、对token嵌入做平均池化，或使用提示模板引导模型生成语义向量。这类方法省去了昂贵的对比学习训练，且能复用现有LLM的语义能力，因此近年受到关注。但其隐含假设是模型表示已足够语义化——这一假设在跨语言场景下并不成立，因为LLM的表示空间会保留预训练语料中的语言分布特征。

PRSR：成对残差子空间移除，一种免训练的推理时干预

为了解决上述问题，研究者提出了成对残差子空间移除（Paired-Residual Subspace Removal, PRSR）。这是一种免训练的推理时干预方法，无需微调模型参数，即可将LLM的表示引导向更语言不变的语义空间。

PRSR的核心思路分为两步。首先，它利用多语言平行句子构建成对残差，捕捉语言特异性的偏差。具体来说，对于语义相同的平行句对，计算它们在LLM隐藏状态中的差异，这些差异反映了语言特有的成分。然后，PRSR从这些残差中估计逐层的低秩子空间，并在最后一层token的隐藏状态中抑制相应的成分。通过移除这些语言特异性的子空间方向，嵌入表示更加聚焦于语义内容，从而实现跨语言对齐。

这种方法完全在推理阶段进行，不需要任何训练数据或梯度更新，因此可以即插即用地应用于现有的免训练嵌入基线。

低秩子空间估计是PRSR的核心数学工具。其假设是：语言特异性偏差虽然维度高，但实际只集中在少数几个方向上，即构成一个低秩子空间。具体做法是对所有平行句对残差向量组成的矩阵做奇异值分解（SVD）或主成分分析（PCA），取前k个奇异向量张成子空间。推理时，将最后一层token隐藏状态投影到该子空间的正交补上，即减去其在子空间上的投影分量。秩k是唯一超参数，通常远小于隐藏维度，因此计算开销很小，且不会显著破坏语义信息。

实验验证：18种语言、200+单语评估与跨语言双文本挖掘

研究者进行了大规模的实证评估。在单语场景下，使用MTEB和MMTEB基准，覆盖18种语言，进行了超过200项评估。在跨语言场景下，进行了英语与超过200种其他语言之间的双文本挖掘（bitext mining）任务。

结果表明，PRSR在不同LLM上均能一致地提升现有免训练基线的性能，无论是单语还是跨语言设置。这验证了语言特异性变异确实可以被解耦，并且移除这些成分能够带来更优的多语言嵌入。

双文本挖掘（bitext mining）是跨语言嵌入的经典评测任务：给定两种语言各自的句子集合，系统需为每个句子在另一语言中找到语义对应的翻译句。通常采用嵌入向量的余弦相似度做最近邻检索，并以F1或准确率衡量。该任务直接检验嵌入空间是否语言不变——若语言条件化几何严重，语义相同的句子相似度反而低于无关句子。因此它比单语句子相似度任务更能暴露跨语言错位问题，也是PRSR重点验证的场景。

意义与展望：让免训练嵌入真正走向多语言

这项工作的贡献在于首次系统性地揭示了多语言免训练文本嵌入中的语言条件化几何问题，并提出了一种简单有效的推理时解决方案。PRSR不需要额外训练，计算开销小，易于集成到现有流程中。对于需要多语言语义搜索、跨语言检索或双语文本挖掘的应用，这提供了一条低成本提升效果的路径。

未来，该方法或许可以进一步扩展到更多语言和领域，或者与其他免训练技术结合，推动多语言文本嵌入的实用化。