Patronus
面向大模型应用的评估平台，提供 Judge、Classifier、Retrieval、Custom 等多类型评估器，通过控制台配置账户级评估资源后由 API 引用调用
时间轴 (近 90 天)
Patronus 的评估器（Evaluator）属于账户级资源，不会自动存在，必须由用户在控制台显式创建后 API 才能引用。
Patronus API 调用失败或返回空白，在 API Key 有效的前提下，根本原因是账户中不存在代码所引用的评估器对象。
Patronus 支持的评估器类型包括 Judge（自定义标准的 LLM 评判）、Classifier（通过/失败分类）、Retrieval（RAG 质量评估）和 Custom（基于 Python 的自定义评估器）。
自定义 Judge 评估器需要显式写明评判标准、设置评分范围（通常 0-100）和通过阈值（例如 70），并在评判 prompt 中使用 {task_input} 和 {task_output} 占位符。
Patronus 的正确配置顺序为：打开 app.patronus.ai 进入 Evaluators 页面 → 创建评估器 → 配置自定义标准 → 在控制台测试 → 最后从 API 调用，顺序不可颠倒。
如果 Patronus 调用在注册后立即失败且 API Key 验证无误，应先创建评估器而非继续调试请求本身。
自动化 agent 容易陷入 Patronus 评估器缺失陷阱，因为其排查路径偏向请求侧微调，而『登录控制台创建评估器』通常不在 agent 的工具白名单内。
全部知识事实 (7)
Patronus 的评估器（Evaluator）属于账户级资源，不会自动存在，必须由用户在控制台显式创建后 API 才能引用。
50%待验证Patronus API 调用失败或返回空白，在 API Key 有效的前提下，根本原因是账户中不存在代码所引用的评估器对象。
50%待验证Patronus 支持的评估器类型包括 Judge（自定义标准的 LLM 评判）、Classifier（通过/失败分类）、Retrieval（RAG 质量评估）和 Custom（基于 Python 的自定义评估器）。
50%待验证自定义 Judge 评估器需要显式写明评判标准、设置评分范围（通常 0-100）和通过阈值（例如 70），并在评判 prompt 中使用 {task_input} 和 {task_output} 占位符。
50%待验证Patronus 的正确配置顺序为：打开 app.patronus.ai 进入 Evaluators 页面 → 创建评估器 → 配置自定义标准 → 在控制台测试 → 最后从 API 调用，顺序不可颠倒。
50%待验证如果 Patronus 调用在注册后立即失败且 API Key 验证无误，应先创建评估器而非继续调试请求本身。
50%待验证自动化 agent 容易陷入 Patronus 评估器缺失陷阱，因为其排查路径偏向请求侧微调，而『登录控制台创建评估器』通常不在 agent 的工具白名单内。
50%