RAGAS

生产级RAG评估应拆解为检索质量（Context Precision、Context Recall）、生成质量（Faithfulness、Answer Relevancy）和端到端质量三个维度

Braintrust和RAGAS是AI评估（Evaluation）方向的代表工具

RAGAS定义了Faithfulness、Context Precision、Context Recall和Response Relevancy四个评估指标；其中Context Recall需要参考答案，Response Relevancy不检查事实准确性。

RAGAS 可与 LangSmith 等可观测性平台集成，形成从追踪到评估的闭环，在标准化评估管线中采用 RAGAS 能显著加快迭代速度。

RAGAS 是一个专为 RAG 系统设计的开源评估框架，提供无须人工标注的自动化指标，包括忠实度、答案相关性、上下文精确度和上下文召回率。

RAGAS、TruLens 等开源评估框架把上下文相关性、忠实度、答案相关性等指标封装为可调用的评估函数，可减少从头搭建度量逻辑的成本。

生成忠实度、上下文相关性、答案相关性三者共同构成 RAG 评估的经典三角框架。

RAGAS和DeepEval是常见的智能体/模型评估框架

LangSmith和RAGAS默认工作流均以聚合分数为最终输出，底层的逐查询检索列表不会被自动持久化

当前许多RAG评估框架（如RAGAS）已将faithfulness列为核心指标，但实际工程评测中该步骤常被简化或跳过

RAGAS的四个指标中Context Precision和Context Recall对应检索质量，Faithfulness和Answer Relevancy对应生成质量

RAGAS框架通过忠实度、答案相关性、上下文精确率、上下文召回率四个核心指标量化RAG系统质量，评判通常由GPT-4等强模型自动完成

RAG 生成指标涵盖忠实度（Faithfulness）、答案相关性（Answer Relevancy）等，常借助 RAGAS 等框架自动化计算

LLM评估工程上通常借助RAGAS、DeepEval等框架，结合人工标注或用另一个LLM充当裁判来打分

LangSmith、Braintrust、Promptfoo以及RAGAS是当前生态中值得关注的LLM应用评估框架，其中RAGAS主要面向RAG场景

RAGAS和TruLens是常见的评估框架，可对RAG流水线各环节（检索质量、答案忠实度、答案相关性等）输出量化指标

作者推荐做学术性指标研究可选RAGAS等专门指标工具

RAGAS是由Explodinggradients团队于2023年推出的开源RAG评估框架，核心指标包括忠实度、答案相关性、上下文精确度和上下文召回率

RAGAS可利用大模型自身作为评判者（LLM-as-a-Judge），无需人工标注即可实现自动化评估

主流RAG评估框架包括RAGAS、TruLens、DeepEval，通常从检索质量和生成质量两个维度打分，但对标识符精确匹配和规则条款完整性等特化需求缺乏内建支持