SAFE-QE：用子序列关联过滤驯服LLM查询扩展中的幻觉词

大模型查询扩展的隐患：幻觉词污染检索

大语言模型（LLM）已经成为信息检索中查询扩展（query expansion）词汇的标准来源。它们能根据原始查询生成相关的扩展词，帮助检索系统覆盖更广的语义空间。但这类方法有一个被长期低估的问题——幻觉。

LLM 在生成扩展词时会注入根本不存在的实体，或是与主题无关的词汇。这些词不仅增加了排序噪声，在面对本就表现强劲的检索器时，甚至会损害检索效果。换句话说，查询扩展带来的收益可能被幻觉词的负面影响抵消。

SAFE-QE 研究论文

现有的缓解手段，比如语料接地（corpus grounding）、相互验证（mutual verification）和偏好对齐（preference alignment），大多把幻觉词当作一种笼统的"干扰项"，依靠一致性启发式规则来过滤。这种做法有两个明显短板：一是缺乏对"为什么某个词会出现"的机制性解释，二是没有一个有原则的标准来决定"该保留多少个扩展词"。

查询扩展（Query Expansion）是信息检索中的经典技术，其核心思想是在用户原始查询的基础上补充相关词汇，从而提高召回率。传统方法主要有两类：一是基于词典或同义词表的人工扩展，二是基于伪相关反馈（Pseudo-Relevance Feedback, PRF）的自动扩展——即先用原始查询检索出排名靠前的文档，再从这些文档中提取高频词回补到查询中。LLM 的出现使第三条路成为可能：直接让模型根据查询生成语义相关的扩展词或伪文档，代表方法包括 Query2doc（生成短段落）和 HyDE（生成假设性文档）。这类方法的优势在于能捕捉深层语义关联，但模型并不"知道"当前语料库的实际内容，因此生成的词汇可能在语料中根本没有对应文档，形成所谓的"幻觉扩展词"，这在封闭域或专业领域检索中尤为有害。

SAFE-QE 的核心思路：从幻觉机制出发

这项研究提出了 SAFE-QE（Subsequence-Association Filtered, breadth-aware Query Expansion，子序列关联过滤、广度感知的查询扩展）。它的两大特点是：免训练（training-free）和检索器无关（retriever agnostic），意味着无需额外训练成本，也可以搭配各类检索系统使用。

用跨上下文可复现性识别幻觉

SAFE-QE 的理论基础是幻觉的"子序列关联"（subsequence-association）解释。该方法为每个候选扩展词打分，依据是它在语料条件下的跨上下文可复现性。

具体机制是：如果某个词在随机化的查询上下文中反复出现，却在伪相关文档集（pseudo-relevant set）中找不到支撑，那么它很可能是模型内部"主导性幻觉关联"的产物。这类词会被标记并降权。这一判据提供了比单纯一致性投票更贴近生成机制的解释——它区分了"模型习惯性吐出的词"和"真正与语料相关的词"。

伪相关文档集（Pseudo-Relevant Set）是 PRF 框架中的关键概念，指用原始查询检索出的排名靠前的若干文档集合，通常取前 5-20 篇。这些文档被假定与查询"大概率相关"，因此可作为语料锚点来验证扩展词的真实性。SAFE-QE 利用这一集合作为接地参照：若一个候选扩展词在伪相关文档中有充分出现，则认为它有语料支撑；反之，若它只是模型因训练数据中的共现模式而习惯性输出，却与当前语料脱节，则被判定为幻觉词。"子序列关联"的核心洞察在于：幻觉词往往是由查询中某些局部词串触发的固定模式，与具体上下文无关——通过随机打乱查询上下文并观察哪些词仍被稳定生成，可以精准定位这类"模式驱动"的幻觉。

把词汇选择变成约束下的覆盖最大化

研究还借鉴了对语言生成的一种刻画：生成本质上是在一致性（consistency，不产生幻觉）与广度（breadth，覆盖面）之间的权衡。

基于这一视角，SAFE-QE 把扩展词的选择建模为"在伪相关集上的约束覆盖最大化"问题。目标是保留一组既足够广又保持一致、并且在重采样下稳定的扩展词。这让"保留多少词"从一个拍脑袋的超参数，变成了可以优化的目标。

新指标 HETR：量化查询侧的忠实度

为了评估效果，研究引入了一个新的查询侧忠实度指标——幻觉扩展词比率（Hallucinated Expansion Term Rate, HETR）。它统计那些没有任何相关文档支撑的注入扩展词数量。

这个指标填补了一个空白：以往评价查询扩展大多只看最终排序质量（如 nDCG），却忽视了过程中注入了多少"无根据"的词。HETR 把忠实度直接量化到查询层面，让幻觉问题变得可测量、可比较。

实验结果：零排序代价换来更高忠实度

研究在 TREC 和 BEIR 这两个基准检索集合上进行了评估，结论颇具说服力。

在 nDCG@10 这一核心排序指标上，SAFE-QE 与生成式扩展、语料引导式扩展在统计意义上无显著差异——也就是说排序质量没有损失。但在注入的无支撑词数量上，差距非常悬殊：

SAFE-QE：每次查询仅注入 4.3 个无支撑词
Query2doc：27.8 个
HyDE：57.5 个

这意味着 HyDE 这类流行方法每次查询会注入约 13 倍于 SAFE-QE 的幻觉词。此外，在一个表现强劲的学习型稀疏检索器（learned sparse retriever）上，所有扩展方法都出现了性能回退——这恰好印证了前文提到的"扩展可能损害强检索器"的担忧，而 SAFE-QE 在这种场景下依然保持了低幻觉率。

研究的核心结论可以概括为一句话：忠实度的提升不需要以排序质量为代价。SAFE-QE 用一个免训练、检索器无关的框架，证明了幻觉过滤可以做到"几乎免费"。

TREC（Text REtrieval Conference）是由美国国家标准与技术研究院（NIST）主办的信息检索评测会议，其基准数据集长期被视为检索系统的权威测试床，涵盖新闻、网页、对话等多种领域。BEIR（Benchmarking IR）则是一个涵盖 18 个异质性数据集的零样本检索评测套件，测试域包括生物医学、金融、法律等，专门用于考察检索方法的泛化能力。nDCG@10（Normalized Discounted Cumulative Gain at 10）是衡量排序质量的主流指标，综合考虑结果的相关性与排名位置，满分为 1.0，越高越好。学习型稀疏检索器（Learned Sparse Retriever）如 SPLADE 等，通过训练让模型直接在词汇空间输出稀疏权重向量，兼具关键词匹配的可解释性和语义匹配的表达力，因其本身已能较好处理词汇变体，额外的查询扩展反而容易引入噪声，导致性能回退。

对检索系统设计的启示

这项工作的价值不止于一个具体方法。它提供了一种看待 LLM 查询扩展的新视角：与其事后用启发式规则清理幻觉，不如从生成机制入手理解幻觉为何产生，再用覆盖最大化的原则决定保留哪些词。

对于构建 RAG 系统或搜索引擎的工程团队而言，SAFE-QE 的免训练、检索器无关特性意味着较低的落地门槛。而 HETR 指标则为团队提供了一个新的评估维度——在追求召回和排序之外，也该关注扩展过程注入了多少噪声。随着 LLM 深度嵌入检索管线，这种对幻觉的机制性理解和可量化控制，正变得越来越重要。