hit rate
检索评估指标,衡量至少命中一份相关文档的查询占比,属于二值判定,不关心命中的排序位置,在多文档查询场景下偏向any-hit逻辑
时间轴 (近 90 天)
在 RAG 评估中,'any expected document in top-k'(命中任意一份预期文档)和 'all required evidence in top-k'(包含全部所需证据)两种规则对多文档查询可能给出完全相反的结论,且两者不可互换。
hit rate 通常指'至少命中一份相关文档的查询占比',为二值判定且不考虑命中的排名;recall@k 衡量 Top-K 中召回的全部相关文档比例,是连续值。
在单文档场景下 hit rate 与 recall@k 趋势一致;在多文档查询下,hit rate 天然偏向 any-hit 逻辑,而按'召回相关文档数/全部相关文档数'计算的 recall@k 更接近 all-evidence 视角。
很多论文在比较缓存算法时只关注命中率指标,却忽略了算法本身的CPU开销、内存占用和实现复杂度
全部知识事实 (4)
在 RAG 评估中,'any expected document in top-k'(命中任意一份预期文档)和 'all required evidence in top-k'(包含全部所需证据)两种规则对多文档查询可能给出完全相反的结论,且两者不可互换。
50%待验证hit rate 通常指'至少命中一份相关文档的查询占比',为二值判定且不考虑命中的排名;recall@k 衡量 Top-K 中召回的全部相关文档比例,是连续值。
50%待验证在单文档场景下 hit rate 与 recall@k 趋势一致;在多文档查询下,hit rate 天然偏向 any-hit 逻辑,而按'召回相关文档数/全部相关文档数'计算的 recall@k 更接近 all-evidence 视角。
50%待验证很多论文在比较缓存算法时只关注命中率指标,却忽略了算法本身的CPU开销、内存占用和实现复杂度
50%