多知识库RAG架构：路由优先还是检索优先？

当RAG系统遇上多知识库：传统融合策略的失效

在企业级RAG（检索增强生成）架构中，一个被广泛采用的做法是：从每个数据源检索top-k结果，然后融合。当知识库数量较少时，RRF（倒数排名融合）等融合方法运转良好。

RAG（Retrieval-Augmented Generation）是一种将信息检索与大语言模型生成能力相结合的架构范式。其核心思路是：在LLM生成回答之前，先从外部知识库中检索与用户查询相关的文档片段，将这些片段作为上下文注入到提示词中，从而让模型基于真实数据生成更准确、更有依据的回答。这种方法有效缓解了LLM的"幻觉"问题——即模型编造看似合理但实际错误的信息，同时也突破了模型训练数据截止日期的限制。在企业场景中，RAG系统通常需要对接多种数据源——包括内部文档库、产品手册、客户工单、法规数据库等——这就自然形成了多知识库的复杂架构。

但当知识库增长到10个以上，这套默认策略还成立吗？一位开发者在深入研究企业RAG架构后提出质疑：一旦知识库达到一定规模，你面对的不再是简单的文档排序问题，而是在不同检索分布、领域和语料规模之间做隐式比较。

这从根本上改变了问题的性质。

融合方法在规模化时为何崩溃

跨库分数不可比的核心矛盾

问题的关键在于跨语料的分数不可比性。传统融合方法隐含了一个危险假设：不同语料库产生的相似度分数是可比较的。

在向量检索中，文档和查询都被编码为高维向量，相似度通常通过余弦相似度或内积来计算。但不同知识库的向量分布特征往往差异显著：专业领域语料（如医学文献）的向量往往聚集在语义空间的某个区域，导致检索结果的相似度分数普遍偏高；而通用语料的向量分布更分散，分数范围更广。此外，语料规模也直接影响分数分布——小型知识库中最相关文档的匹配度可能远高于大型知识库。这种现象在信息检索领域被称为"分数校准"问题（score calibration），是跨库融合面临的根本性技术障碍。

设想这个场景：你有10个知识库，每个库的top-1结果在融合时获得几乎相同的权重。但这些库的语料规模、领域特性、向量分布可能天差地别：

小型专业知识库的top-1结果可能高度相关
大型杂乱知识库的top-1结果可能只是分数碰巧较高

以RRF为例，这一经典融合算法由Cormack等人在2009年提出，其核心公式为：对于每个文档d，融合分数 = Σ 1/(k + rank_i(d))，其中rank_i(d)是文档d在第i个排名列表中的位置，k是一个常数（通常设为60）。RRF的优势在于它只依赖排名位置而非原始分数，因此理论上可以规避不同检索系统之间分数尺度不一致的问题。然而，当参与融合的列表数量大幅增加时，排名位置本身的含义也变得模糊——不同规模和质量的语料库中，排名第1的文档其实际相关性可能存在巨大差异，这正是RRF在多知识库场景下失效的根源。

如果使用固定的相似度阈值，这一假设更是雪上加霜——它默认所有语料的分数分布是对齐的，而实际上它们经常不对齐。

好检索不等于好上下文

于是出现了这样的失败链条：

好的检索 → 有问题的跨库排序 → 糟糕的上下文选择

每个单独的知识库都可能返回了正确结果，但在跨库融合与top-k截断环节，真正需要的上下文却被稀释或淹没。这正是许多多知识库RAG系统在生产环境中表现不佳的深层原因。

从检索优先到路由优先的架构转变

两种架构范式对比

传统范式（检索优先）：

查询 → 全局检索 → 融合 → 期望正确上下文在top-k中

路由范式（路由优先）：

查询 → 知识库路由 → 定向检索 → 重排序 → 生成

核心洞察是：与其在检索后费力做跨库比较，不如在检索前通过路由把查询精准导向相关知识库。

知识库路由（Knowledge Base Routing）本质上是一个查询分类或意图识别问题。常见的实现方式包括：其一，基于嵌入相似度的路由——为每个知识库生成一个或多个代表性向量（如库描述的嵌入），查询时计算查询向量与各库代表向量的相似度来选择目标库；其二，基于LLM的路由——使用大语言模型根据查询内容和各知识库的描述信息来判断应该查询哪些库；其三，基于训练分类器的路由——使用历史查询日志训练专门的分类模型。每种方式都有其权衡：嵌入路由速度快但粒度粗，LLM路由灵活但延迟高且成本大，分类器路由精准但需要标注数据且难以适应新增知识库。

这样做避免了在异构语料之间做不可靠的分数比较，让检索发生在真正相关的、分布相对一致的语料内部。

路由策略的局限性

当然，这套方案也有软肋：

路由器本身会犯错。如果分类模型把查询导向错误的知识库，后续检索再精准也无济于事
跨领域问题依然需要广泛检索。有些查询天然横跨多个领域，强行路由到单一库反而会丢失关键信息

这引出了真正值得思考的问题：路由与全局检索之间的权衡点在哪里？

生产环境中的技术选型

面对数十个知识源和真实生产流量，工程师们有一整套工具箱可供选择：

主要技术路线

路由/分类：先判断查询归属，再定向检索。精准但依赖路由质量
全局检索 + RRF：经典融合方法，简单但在规模化时面临前述问题
分数归一化：试图解决跨语料分数不可比问题，让融合更公平。常见的归一化策略包括min-max归一化（将每个知识库的分数线性映射到[0,1]区间）、z-score归一化（基于均值和标准差进行标准化），以及基于分位数的归一化。然而，归一化本身也面临挑战：当某个知识库中没有真正相关的文档时，归一化后的最高分仍可能被推高到与其他库的相关结果同一水平，导致"无关结果的高分假象"
交叉编码器重排序：在检索后用更强的模型重新评估相关性，弥补初检的粗糙。交叉编码器与初检阶段常用的双塔编码器（Bi-Encoder）有本质区别——双塔编码器分别独立编码查询和文档，适合大规模初检但精度有限；而交叉编码器将查询和文档拼接后联合输入Transformer模型，通过注意力机制实现深层交互理解，能够捕捉查询与文档之间的细粒度语义关系。其代价是计算成本显著更高，对于N个候选文档需要进行N次完整的模型推理，因此通常只用于对初检结果的top-50到top-100进行重排。在多知识库场景中，交叉编码器的一个重要优势是它直接评估查询-文档对的相关性，不受原始检索分数分布差异的影响，为跨库结果提供了相对统一的评估基准
层次化检索：先粗后细，逐层聚焦。这一架构灵感来源于传统搜索引擎的级联过滤（cascading filtering）思想。典型实现包括：第一层使用轻量级的稀疏检索（如BM25关键词匹配）或粗粒度的向量检索从全量语料中快速筛选出候选集；第二层使用更精细的语义检索在候选集中进一步缩小范围；第三层使用交叉编码器进行精排。在多知识库场景中，层次化检索还可以扩展为"库级→文档级→段落级"的三层结构——先确定相关知识库，再在选定库中检索相关文档，最后在文档中定位最相关的段落。这种架构在保持召回率的同时有效控制了计算开销
混合方案：在实践中往往是多种策略的组合

一次性模式与智能体多步检索

一些RAG框架同时支持两种模式：

智能体多步检索：系统像智能体一样，分多步逐渐逼近答案。这种模式借鉴了AI Agent的思路——模型在每一步根据当前已获取的信息判断是否需要继续检索、应该向哪个知识库查询、以及如何调整查询策略。例如，第一步可能先进行广泛检索以理解问题范围，第二步根据初步结果判断需要深入哪个专业领域，第三步进行精确定向检索。这种方式的优势在于能够处理复杂的多跳推理问题，但多步交互带来的延迟和token消耗在生产环境中需要谨慎权衡
一次性模式：系统先选出相关知识库，然后并行从这些库中检索

这个"先选库、再并行检索"的一次性模式，本质上正是路由范式的一种工程落地——它把知识库选择前置，避免了盲目的全局检索。

架构选择比抽象封装更重要

这场讨论的价值不在于评判哪家技术的抽象封装更优雅，而在于一个更本质的追问：

当你拥有数十个知识源和真实的生产流量时，什么样的架构才真正扛得住？

几个关键判断值得每个RAG工程师深思：

少量知识库时，融合方法（RRF）依然是合理的默认选择
规模化后，路由/分类正成为绕不开的一环，因为跨库分数比较本身就是不可靠的
纯路由和纯全局检索都是极端，生产级系统大概率需要一个能根据查询类型动态调整的混合架构——对明确归属的查询走路由，对跨领域查询则回退到更广泛的检索

这种动态混合架构的设计思路，与搜索引擎领域长期实践的"查询理解"（Query Understanding）模块高度一致。在传统搜索引擎中，查询理解层会对用户输入进行意图分类、实体识别、查询改写等处理，然后根据理解结果选择不同的检索策略和召回通道。多知识库RAG中的路由层本质上扮演了相同的角色——它需要在毫秒级别内理解查询的领域归属和信息需求类型，并据此做出最优的检索路径决策。

多知识库RAG或许真的更像一个路由问题：真正的挑战不在于"能不能检索到"，而在于"该去哪里检索"以及"如何在正确性与覆盖面之间取得平衡"。这或许是企业级RAG从"能用"走向"好用"的关键分水岭。