DeepEval
面向LLM应用的开源评估框架，提供幻觉检测、答案相关性、RAG评估等多种评估指标，支持CI/CD集成，是AI Eval赛道的代表性工具之一
时间轴 (近 90 天)
在只选一个框架时，若重度依赖 pytest 且没有 YAML 驱动的评测体系，应选 DeepEval，但第一天就要固定 evaluation_steps。
DeepEval 的首次配置耗时约 40 分钟，运行 40 条数据耗时 4 分 48 秒，成本 1.31 美元，与手工标注的一致率为 31/40。
DeepEval 在评分标准权重之和不为 1.0 时不会报错，不做合理性校验。
DeepEval 的 G-Eval 指标在不传 evaluation_steps 时，会根据 criteria 自动生成评分步骤，导致同一份回复在重跑时可能得到相反的结论，产生漂移。
在文章中，DeepEval 默认模式下重跑三次有 7 条回复的通过/失败结论至少翻转一次；手工固定 evaluation_steps 后，翻转数降到 3 条，一致率从 31/40 升到 35/40。
清理锚点和提示词后，promptfoo 的一致率从 34/40 升至 37/40，DeepEval 从 35/40 升至 36/40。
promptfoo 通过 CLI 和 YAML 集成 CI，DeepEval 通过 pytest 集成。
RAGAS和DeepEval是常见的智能体/模型评估框架
Ragas、DeepEval等评估框架侧重于对RAG流水线或单次推理质量的离线批量测试，适合在CI流程中运行
AI 智能体评估（LLM Evaluation）赛道已涌现出 Ragas、DeepEval、LangSmith 和 Brainlid 等代表性产品
还有 4 条时间轴事件
全部知识事实 (14)
在只选一个框架时，若重度依赖 pytest 且没有 YAML 驱动的评测体系，应选 DeepEval，但第一天就要固定 evaluation_steps。
50%待验证DeepEval 的首次配置耗时约 40 分钟，运行 40 条数据耗时 4 分 48 秒，成本 1.31 美元，与手工标注的一致率为 31/40。
50%待验证DeepEval 在评分标准权重之和不为 1.0 时不会报错，不做合理性校验。
50%待验证DeepEval 的 G-Eval 指标在不传 evaluation_steps 时，会根据 criteria 自动生成评分步骤，导致同一份回复在重跑时可能得到相反的结论，产生漂移。
50%待验证在文章中，DeepEval 默认模式下重跑三次有 7 条回复的通过/失败结论至少翻转一次；手工固定 evaluation_steps 后，翻转数降到 3 条，一致率从 31/40 升到 35/40。
50%待验证清理锚点和提示词后，promptfoo 的一致率从 34/40 升至 37/40，DeepEval 从 35/40 升至 36/40。
50%待验证promptfoo 通过 CLI 和 YAML 集成 CI，DeepEval 通过 pytest 集成。
50%待验证RAGAS和DeepEval是常见的智能体/模型评估框架
50%待验证Ragas、DeepEval等评估框架侧重于对RAG流水线或单次推理质量的离线批量测试，适合在CI流程中运行
50%待验证AI 智能体评估（LLM Evaluation）赛道已涌现出 Ragas、DeepEval、LangSmith 和 Brainlid 等代表性产品
50%待验证LLM评估工程上通常借助RAGAS、DeepEval等框架，结合人工标注或用另一个LLM充当裁判来打分
50%待验证主流RAG评估框架包括RAGAS、TruLens、DeepEval，通常从检索质量和生成质量两个维度打分，但对标识符精确匹配和规则条款完整性等特化需求缺乏内建支持
50%待验证Ragas、TruLens、DeepEval等开源框架提供RAG指标的自动化计算，其中不少采用LLM as a judge方式评分
50%待验证开源评估框架RAGAS专注于RAG系统评估，与DeepEval等工具正在将评估最佳实践标准化
50%