多语言检索不一致：诊断稠密嵌入器的隐藏偏差

一个被忽视的现象：同一问题，不同语言检索结果大相径庭

多语言稠密检索器（Multilingual Dense Retriever）的设计初衷很直接：把所有语言的文档和查询映射到同一个向量空间，这样无论用户用什么语言提问，系统都能找到语义相关的文档。听起来很优雅，但一项研究揭示了一个令人不安的事实——同一个问题用不同语言提出，检索到的文档差异巨大。

这不是因为模型对某种语言理解得不好。研究明确指出，每种语言单独测评时表现都相当不错，而且不同语言对候选文档的排序结果彼此一致。问题出在“共享索引”这个环节：当所有语言的文档混在同一个索引里时，某种语言本来应该排在前面的正确答案，被大量不相关的文档压到了很靠后的位置。这些干扰文档要么是查询本身的语言，要么是英语——具体取决于模型。

这个发现挑战了多语言检索领域的一个默认假设：共享向量空间本身就是好的。事实证明，共享空间虽然统一，却带来了语言之间的“拥挤”问题。

稠密检索（Dense Retrieval）是与传统稀疏检索（如BM25）相对的一类方法：它不依赖词项匹配，而是用神经网络把查询和文档分别编码成低维稠密向量，再通过向量相似度（通常是余弦相似度或内积）判断相关性。多语言稠密检索器则进一步使用共享的编码器（如多语言BERT、LaBSE、mE5等）把所有语言的文本映射到同一个向量空间。

这种“共享空间”的好处是跨语言零样本迁移：英语查询可以直接匹配中文文档，无需为每种语言单独建索引。但它也隐含一个假设——不同语言的表示在空间中分布均匀、彼此不干扰。研究揭示的“拥挤”问题，正是这个假设在真实数据上失效的表现。

机制剖析：问题出在共享索引，而非语言理解

研究团队对上述分歧的成因做了细致追踪。核心结论是：每种语言自身维持着一套合理的排序能力，但共享索引改变了竞争的格局。

具体来说，当查询是语言A时，语言A自己的正确文档确实有较高的相关性得分，但语言B、语言C的文档中，有些在向量空间中恰好离查询更近——哪怕它们语义上并不相关。这些“邻居”文档把真正相关的文档挤了下去。

更微妙的是，干扰文档的来源因模型而异。有些模型更容易被查询自身语言的无关文档干扰，有些则更容易被英语文档干扰。这意味着不同模型在共享空间中形成了不同的“语言偏好”——一种隐含的偏差，而非显式的设计选择。

这一发现对多语言RAG系统、跨语言搜索引擎等应用有直接影响：用户可能因为换了一种语言提问，就得到质量截然不同的检索结果，而这种差异很难被察觉。

共享索引指的是把多语言文档全部编码后存入同一个向量索引（如FAISS、ScaNN）中，检索时对查询向量做最近邻搜索。问题在于，多语言编码器的向量空间并非各语言均匀铺开，而是呈现出语言簇结构：同一语言的文档往往聚在一起，不同语言之间则可能存在部分重叠区域。

当查询进入这个空间做ANN搜索时，返回的Top-K候选会同时来自多种语言。由于向量的“几何邻近”并不总等于“语义相关”，一些恰好落在查询附近的他语言文档就会挤占名额。这种效应在语言数量增多、索引规模变大时会进一步放大，但单语言测评（只用该语言的文档建索引）无法暴露它。

解决方案：用“分歧”作为信号来引导检索

既然分歧本身暴露了问题，研究团队反过来把分歧当作一种可用的信号，提出了分歧引导的转向方法（disagreement-guided steering）。

思路是这样的：对于某个语言，把“其他语言都认同的相关文档”和“该语言独自检索出来的文档”进行对比，取两者表示之间的差值，作为该语言特有的方向向量。在推理阶段，把这个方向加到该语言的查询向量上。

直观理解是：这个方向捕捉了“该语言在共享空间中特有的偏移”，加上它相当于对查询做了一次语言层面的纠正。

这里的“方向向量”来自表示空间中的向量算术思想：如果一种语言在共享空间中存在系统性的偏移，那么“该语言检索结果的平均表示”与“其他语言共识表示”之差，就能近似刻画这个偏移方向。把它加回查询向量，相当于把查询“推离”拥挤区域、靠近该语言真正相关的文档簇。

这种推理时干预（inference-time intervention）与微调不同：模型权重完全不动，只在编码后的查询向量上做一次加法，成本极低且可即插即用。类似的思路在表示工程（representation engineering）和大模型激活引导中已有应用，此处被迁移到检索场景。

实验对比：信号引导 vs. 其他纠偏策略

研究将分歧引导方法与几种基线做了对比，包括语言均值移除（language-mean removal）、子空间移除（subspace removal）和逐语言旋转（per-language rotation）。

结果显示：分歧引导在减少同语言文档拥挤方面效果最强，同时在召回率上保持了竞争力。不过它并非全面胜出——语言均值移除在保持排序质量方面表现更好，两者之间存在权衡。

这个权衡本身也有信息量：它说明“去拥挤”和“保排序”是两个可以分别优化的目标，实际系统需要根据场景选择策略。对召回优先的场景，分歧引导更合适；对排序精度要求高的场景，均值移除可能是更稳妥的选择。

文中对比的几种基线都属于后处理式去偏方法，共同点是都不重训模型，只在表示层面做修正：

• 语言均值移除：计算每种语言文档表示的平均向量，从查询或文档表示中减去该均值，以消除语言特有的中心偏移。
• 子空间移除：先做主成分分析（PCA），识别出主要承载“语言身份”而非“语义”的几个方向，把这些子空间投影掉。
• 逐语言旋转：为每种语言学习一个正交变换，把各语言的表示对齐到统一参考系。

分歧引导与它们的关键区别在于：它不使用语言的全局统计量，而是利用检索结果之间的分歧这一动态信号，因此更贴近“哪些文档在本次查询中被错误挤出”这一具体问题，但也因此对召回与排序的平衡更敏感。

对多语言检索实践的意义

这项研究给多语言检索系统的开发者和使用者提了一个醒：共享向量空间带来的便利，可能以隐性的跨语言干扰为代价。评估多语言检索器时，只测单语言性能远远不够，还需要检查不同语言在同一索引下的表现是否一致。

分歧引导方法提供了一种轻量级的修正手段——不需要重新训练模型，只需在推理时对查询向量做方向调整。对于已经部署了多语言检索系统的团队来说，这是一个值得尝试的优化方向。

同时，研究也留下了开放问题：这种语言特有的偏移方向是否稳定？能否在模型间迁移？以及，当索引中语言种类增多时，这种拥挤效应会如何演变？这些问题对于构建真正语言公平的检索系统至关重要。