rag-eval
一款开源RAG评测工具，核心特性为零依赖、无需API密钥、框架无关，内置本地运行的词法评分器和检索指标，同时支持可选的LLM Judge模式，提供CLI和FastAPI两种使用形态
时间轴 (近 90 天)
rag-eval 是一款零依赖、无需API密钥、框架无关的开源RAG评测工具
rag-eval 通过标准的 .jsonl 文件接收评测数据，不绑定 Haystack、LangChain、LlamaIndex 等特定框架
rag-eval 内置词法层面的 claim-overlap 评分器和基于集合的检索指标两类本地评分方式，完全本地运行、免费
rag-eval 支持通过 --judge openai 参数启用大模型作为裁判进行语义验证，作为可选功能
rag-eval 提供 CLI 和 FastAPI 微服务两种使用方式，CLI 输出富文本终端表格并支持导出 JSON，FastAPI 提供 /evaluate 接口
rag-eval 可通过 pip install rag-eval 命令安装
将评测接入 CI/CD 流程，将关键指标与预设阈值对比、超过容忍范围则阻断合并，是 RAG 质量保障自动化的关键做法
rag-eval 采用默认本地免费指标初筛、关键节点再启用 LLM Judge 精评的分层评测策略以控制成本
rag-eval 的源码托管在 GitHub 的 Mustaaabadshah/rag-eval 仓库
全部知识事实 (9)
rag-eval 是一款零依赖、无需API密钥、框架无关的开源RAG评测工具
50%待验证rag-eval 通过标准的 .jsonl 文件接收评测数据，不绑定 Haystack、LangChain、LlamaIndex 等特定框架
50%待验证rag-eval 内置词法层面的 claim-overlap 评分器和基于集合的检索指标两类本地评分方式，完全本地运行、免费
50%待验证rag-eval 支持通过 --judge openai 参数启用大模型作为裁判进行语义验证，作为可选功能
50%待验证rag-eval 提供 CLI 和 FastAPI 微服务两种使用方式，CLI 输出富文本终端表格并支持导出 JSON，FastAPI 提供 /evaluate 接口
50%待验证rag-eval 可通过 pip install rag-eval 命令安装
50%待验证将评测接入 CI/CD 流程，将关键指标与预设阈值对比、超过容忍范围则阻断合并，是 RAG 质量保障自动化的关键做法
50%待验证rag-eval 采用默认本地免费指标初筛、关键节点再启用 LLM Judge 精评的分层评测策略以控制成本
50%待验证rag-eval 的源码托管在 GitHub 的 Mustaaabadshah/rag-eval 仓库
50%