promptfoo
开源LLM测试与评估框架，支持对LLM应用进行自动化评估、红队测试和提示词比较，可自托管部署
时间轴 (近 90 天)
promptfoo 通过 CLI 和 YAML 集成 CI，DeepEval 通过 pytest 集成。
promptfoo 的 llm-rubric 断言默认接受的分数范围是 0-1 的连续值，使用 1-5 分 Likert 量表时必须在提示词中明确写出换算方式。
promptfoo 在三次重跑中仅有 4 条回复的通过/失败结论发生翻转。
清理锚点和提示词后，promptfoo 的一致率从 34/40 升至 37/40，DeepEval 从 35/40 升至 36/40。
promptfoo 的首次运行配置耗时 25 分钟，运行 40 条数据耗时 3 分 12 秒，成本 0.94 美元，与手工标注的一致率为 34/40。
promptfoo 在评分标准权重之和不为 1.0 时不会报错，而是按给定权重计算加权平均。
评估与测试类别是数量最多的类别，包含33款工具，代表项目有promptfoo、deepeval、openevals
promptfoo支持多种断言类型（包含关键词、正则匹配、语义相似度、LLM-as-a-Judge），运行promptfoo eval命令后自动批量调用模型并生成可视化报告
promptfoo是命令行和YAML驱动的AI评估工具，支持CLI、批量调用、Python自定义扩展，能覆盖LLM、知识库、Agent三层评估对象
全部知识事实 (9)
promptfoo 通过 CLI 和 YAML 集成 CI，DeepEval 通过 pytest 集成。
50%待验证promptfoo 的 llm-rubric 断言默认接受的分数范围是 0-1 的连续值，使用 1-5 分 Likert 量表时必须在提示词中明确写出换算方式。
50%待验证promptfoo 在三次重跑中仅有 4 条回复的通过/失败结论发生翻转。
50%待验证清理锚点和提示词后，promptfoo 的一致率从 34/40 升至 37/40，DeepEval 从 35/40 升至 36/40。
50%待验证promptfoo 的首次运行配置耗时 25 分钟，运行 40 条数据耗时 3 分 12 秒，成本 0.94 美元，与手工标注的一致率为 34/40。
50%待验证promptfoo 在评分标准权重之和不为 1.0 时不会报错，而是按给定权重计算加权平均。
50%待验证评估与测试类别是数量最多的类别，包含33款工具，代表项目有promptfoo、deepeval、openevals
50%待验证promptfoo支持多种断言类型（包含关键词、正则匹配、语义相似度、LLM-as-a-Judge），运行promptfoo eval命令后自动批量调用模型并生成可视化报告
50%待验证promptfoo是命令行和YAML驱动的AI评估工具，支持CLI、批量调用、Python自定义扩展，能覆盖LLM、知识库、Agent三层评估对象
50%