RAG实验数据集选型指南：稠密、稀疏与混合检索评测

引言：为什么RAG实验需要标准化数据集

检索增强生成（Retrieval-Augmented Generation, RAG）已经成为大模型应用落地的核心范式之一。RAG范式最早由Facebook AI Research（现Meta AI）在2020年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中正式提出，其核心思想是将参数化记忆（大模型的权重）与非参数化记忆（外部知识库）相结合。在传统的纯生成模型中，所有知识都编码在模型参数中，这导致了知识更新困难、幻觉问题严重、以及对长尾知识覆盖不足等问题。RAG通过在推理时动态检索相关文档并将其作为上下文输入给生成模型，从根本上改变了知识获取的方式，在问答、文档理解、知识密集型任务中显著提升准确性。目前RAG已经成为企业级AI应用的标配架构，广泛应用于客服问答、法律文档分析、医疗诊断辅助等场景。

然而，一个常被忽视的问题是：RAG系统的性能瓶颈往往不在生成端，而在检索端。

近期在Reddit的机器学习社区中，一位大学研究者提出了一个非常有代表性的问题：他希望系统性地对比稠密检索（dense retrieval）、稀疏检索（sparse retrieval）和混合检索（hybrid retrieval）三种方法的效果，但苦于找不到合适的标准化测试数据集。这个诉求其实道出了整个RAG研究领域的一个基础需求——可复现、带标注的检索评测基准。

本文将围绕这一问题展开，梳理RAG检索实验所需的数据集特征，并系统介绍业界公认的几类基准数据集。

RAG检索实验需要什么样的数据集

三个核心要素

从原帖作者的描述中，可以提炼出一个理想RAG检索评测数据集应具备的三个要素：

• 文档语料（Corpus）：包含大量带文本内容的文档，通常还带有唯一ID，作为被检索的知识库。
• 查询集（Queries）：一组用于对语料进行检索的查询语句，模拟真实用户的检索意图。
• 相关性标注（Relevance Judgments）：每个查询对应的"标准答案"文档，最好带有排序或相关性分数（relevance scores），用于量化评估检索结果的好坏。

这三者缺一不可。没有标注的相关性数据，就无法计算nDCG、MRR、Recall@K等标准检索指标，实验结果也就失去了可比性。

为什么要区分稠密、稀疏与混合检索

原帖作者计划对比的三种方法各有优劣：

• 稀疏检索：以BM25为代表，基于词频（token-based）匹配，在精确关键词命中场景下表现稳健，无需训练。BM25（Best Matching 25）是信息检索领域最经典的排序算法之一，由Stephen Robertson等人在1990年代提出，属于概率检索模型TF-IDF的改进版本。其核心公式考虑了词频（TF）、逆文档频率（IDF）、文档长度归一化等因素。BM25在Elasticsearch、Lucene等主流搜索引擎中已有成熟实现，虽然近年来稠密检索模型在多数基准测试中超越了BM25，但研究表明它在实体名称查询、代码搜索、以及训练数据稀缺的垂直领域中仍具有不可替代的优势。此外，SPLADE等可学习的稀疏检索模型通过词项扩展机制，在保持稀疏表示可解释性的同时显著提升了检索效果。

• 稠密检索：基于embedding向量的语义相似度，擅长处理同义改写和语义泛化，但对领域外数据泛化能力有限。稠密检索的核心是将查询和文档都编码为固定维度的向量（通常256-768维），然后通过向量相似度（如余弦相似度或内积）来衡量语义匹配程度。代表性模型包括Facebook的DPR（Dense Passage Retrieval）、微软的ANCE（Approximate Nearest Neighbor Negative Contrastive Estimation）、以及斯坦福的ColBERT（Contextualized Late Interaction over BERT）。这些模型通常基于BERT等预训练语言模型进行微调，使用对比学习损失函数来训练，使得语义相关的查询-文档对在向量空间中距离更近。主要挑战包括对训练数据分布外的领域泛化能力较弱、向量索引在超大规模语料上的效率问题（通常需要FAISS、ScaNN等近似最近邻搜索库支持），以及对否定词、数值等精确匹配场景的处理不够理想。

• 混合检索：融合两者优势，通常通过分数加权或重排序（reranking）实现，是目前工业界RAG系统的主流选择。混合检索的典型实现方式包括分数级融合（Score-level Fusion）、排名级融合（Rank-level Fusion）和级联式架构（Cascade Architecture）。分数级融合通常对BM25分数和稠密相似度分数进行线性加权组合；排名级融合则使用RRF（Reciprocal Rank Fusion）等方法合并两个排名列表；级联式架构先用高效的初检模型召回候选集，再用交叉编码器（Cross-Encoder）进行重排序。代表性的重排序模型包括monoT5、RankGPT、以及Cohere Rerank等。在实际RAG系统中，这种多阶段的检索-重排架构已成为行业标准实践。

要公平地对比这三类方法，必须在同一套带标注的数据集上进行，否则结论没有说服力。

推荐的RAG检索评测基准数据集

BEIR：异构检索评测的黄金标准

对于原帖作者这样的需求，业界最推荐的答案几乎无一例外是 BEIR（Benchmarking-IR）。BEIR由Nandan Thakur等人在2021年NeurIPS会议上发表，论文标题为《BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models》。它是一个专为零样本（zero-shot）信息检索评测设计的异构基准，聚合了18个来自不同领域的数据集，涵盖问答、事实核查、论文检索、重复问题检测等多种任务。

这18个子数据集跨越了生物医学（TREC-COVID、BioASQ）、金融（FiQA）、科学（SciFact）、开放域问答（Natural Questions、HotpotQA）、事实核查（FEVER、Climate-FEVER）、重复问题检测（Quora、CQADupStack）等多个领域。BEIR的设计初衷是评测检索模型的零样本泛化能力——即不在目标数据集上进行任何微调，直接评测性能。这一设计对RAG场景尤为重要，因为实际部署中往往没有目标领域的大量标注数据可供训练。

BEIR的最大价值在于其统一的数据格式：每个数据集都提供了标准化的语料（corpus）、查询（queries）和相关性标注（qrels），并且官方提供了配套的评测脚本，可以直接计算nDCG@10等指标。这意味着研究者可以用几乎相同的代码，在多个数据集上跑通BM25、DPR、ColBERT等各类检索方法的对比实验。BEIR的研究发现表明，虽然稠密模型在其训练域（如MS MARCO）上表现优异，但在跨域零样本场景下，BM25仍然是一个非常强的基线，这一发现对RAG系统的工程实践具有重要指导意义。

MS MARCO：大规模真实查询语料

MS MARCO 是微软发布的大规模检索数据集，源自Bing搜索引擎的真实用户查询。它包含约880万段落和数十万条查询，每条查询都有人工标注的相关段落。MS MARCO是训练稠密检索模型（如DPR、ANCE）的标准数据集，同时其passage ranking子任务也是检索评测的常用基准。

对于希望研究检索模型训练与评测全流程的研究者，MS MARCO是绕不开的选择。不过需要注意其规模较大，本地实验时可能需要相应的算力和存储支持。

Natural Questions 与 TREC 系列

Natural Questions（NQ） 来自Google的真实搜索查询，答案标注在维基百科文章中，非常适合开放域问答场景下的检索评测。而 TREC 系列（如TREC-COVID、TREC Deep Learning Track）则是信息检索领域历史悠久的权威评测，提供了高质量的人工相关性判断，学术引用极为广泛。TREC（Text REtrieval Conference）由美国国家标准与技术研究院（NIST）自1992年起每年组织，是信息检索学术界最权威的评测竞赛，其Deep Learning Track自2019年起专门聚焦神经网络检索模型的评测。

值得一提的是，BEIR本身就整合了包括TREC-COVID、NQ、FEVER、HotpotQA在内的多个子集，因此从BEIR入手，实际上一次性获得了访问多个经典数据集的入口。

实验设计的实践建议

从小规模数据集起步

对于课程研究项目，不建议一上来就使用MS MARCO这类超大规模语料。可以从BEIR中体量较小的子集入手，例如 SciFact（科学论文事实核查，约5000篇摘要）、NFCorpus（医学文献检索，约3600篇文档）或 FiQA（金融问答，约57000篇文档），这些数据集规模适中，便于在有限算力下快速迭代实验。

统一评测指标

为保证对比公平，建议固定使用一组标准检索指标：

• nDCG@K：衡量排序质量，考虑相关性分数与位置。nDCG（normalized Discounted Cumulative Gain）的设计哲学基于两个核心假设：一是排在更前面的结果对用户更有价值（位置折扣，通过对数函数实现），二是不同文档的相关性程度可以分级（分级相关性）。计算过程分三步：首先计算DCG（对每个位置的相关性分数除以该位置对数值的累加），然后计算IDCG（理想排序下的DCG），最后nDCG = DCG/IDCG，归一化到0-1之间。nDCG@10意味着只看前10个结果的排序质量，这也是BEIR基准选定的主要评测指标。
• Recall@K：衡量在前K个结果中召回了多少相关文档。对于RAG系统尤为重要，因为只有被检索到的文档才有机会被输入给生成模型，Recall直接决定了生成答案的信息覆盖度。
• MRR：衡量首个相关结果的排名倒数。MRR（Mean Reciprocal Rank）适用于用户只关心第一个正确答案的场景，计算简单直观。

这些指标在BEIR官方工具链中均已实现，可直接调用。

善用现成工具链

实现层面，可以借助 Pyserini（稀疏检索/BM25）、Sentence-Transformers 或 FlagEmbedding（稠密检索），以及 rank_bm25 等开源库快速搭建实验管线。Pyserini是由滑铁卢大学Jimmy Lin团队维护的Python信息检索工具包，封装了Anserini/Lucene的检索能力，支持BM25、doc2query等多种稀疏检索方法；Sentence-Transformers则是UKP Lab开发的语义嵌入框架，支持数百个预训练模型的直接调用；FlagEmbedding由BAAI（北京智源人工智能研究院）开发，提供了BGE系列中英文嵌入模型。混合检索则可通过对稀疏与稠密分数进行加权融合，或引入cross-encoder重排序来实现。

结语

原帖作者的诉求，本质上反映了RAG研究从"能用"走向"科学评测"的必然趋势。随着RAG应用的普及，检索环节的严谨评测变得愈发重要。BEIR、MS MARCO、Natural Questions与TREC 构成了当前检索评测的核心基准体系，几乎可以覆盖稠密、稀疏与混合检索对比实验的全部需求。

对于任何希望深入理解RAG检索机制的研究者或工程师而言，从一个标准化、带标注的基准数据集出发，是确保实验结论可复现、可比较的第一步。