基准Benchmarking IR / Benchmarking Information Retrieval
BEIR
信息检索领域的标准评测基准，用于评估文本检索模型在多种检索任务和领域上的零样本泛化能力
时间轴 (近 90 天)
10月12日
Recall@k衡量前k个检索结果中是否包含所有相关文档，nDCG@k考虑相关文档的排名位置并归一化使不同查询可比，两者是检索评估的黄金标准，BEIR基准即采用它们。
待验证50%
10月12日
SAFE-QE 在 TREC 和 BEIR 两个基准检索集合上进行了评估
待验证50%
10月12日
BEIR 是一个涵盖 18 个异质性数据集的零样本检索评测套件，测试域包括生物医学、金融、法律等
待验证50%
10月4日
检索模型的准确率通常在 BEIR 和 MTEB 等标准测试集上进行评测
待验证50%
10月2日
MTEB（Massive Text Embedding Benchmark）是目前最广泛引用的文本嵌入评测榜单，涵盖检索、分类、聚类等任务，使用的数据集包括MS MARCO、BEIR等
待验证50%
9月10日
TREC系列评估主要关注文档检索的相关性排序，BEIR侧重于零样本跨域检索能力的评估
待验证50%
全部知识事实 (6)
待验证
Recall@k衡量前k个检索结果中是否包含所有相关文档，nDCG@k考虑相关文档的排名位置并归一化使不同查询可比，两者是检索评估的黄金标准，BEIR基准即采用它们。
50%待验证SAFE-QE 在 TREC 和 BEIR 两个基准检索集合上进行了评估
50%待验证BEIR 是一个涵盖 18 个异质性数据集的零样本检索评测套件，测试域包括生物医学、金融、法律等
50%待验证检索模型的准确率通常在 BEIR 和 MTEB 等标准测试集上进行评测
50%待验证MTEB（Massive Text Embedding Benchmark）是目前最广泛引用的文本嵌入评测榜单，涵盖检索、分类、聚类等任务，使用的数据集包括MS MARCO、BEIR等
50%待验证TREC系列评估主要关注文档检索的相关性排序，BEIR侧重于零样本跨域检索能力的评估
50%