Rubricon
一种无需人工标注即可自动生成LLM评分标准（rubric）的推理时搜索流水线，通过采样、选择、补充和精简的迭代循环，利用准则通过率信号提升评分标准的区分度，可配合任意LLM使用。
时间轴 (近 90 天)
Rubricon 是一个无需人工偏好标签、评分标注或生成器模型训练即可自动生成评分标准的流水线，可配合任意 LLM 使用。
Rubricon 的核心是一个四步迭代循环：采样多个候选评分标准、选择最具区分度的候选、添加捕捉被忽略需求的准则、修剪错位或浅显的准则。
Rubricon 利用在示例模型响应上观察到的准则通过率作为数据驱动信号来指导评分标准的精炼，而非仅依赖 LLM 自我批判。
Rubricon 在五个专业、消费、临床和通用 LLM 基准上进行了评估。
Rubricon 生成的评分标准对前沿 LLM 响应的打分与专家编写的评分标准对齐度比最佳替代合成方法高出 9%，对比方法包括 RRD、QSRG、OpenRubrics 及 Codex 等智能体生成方法。
在 HealthBench 上，使用 Rubricon 评分标准对 Qwen3.5-9B 进行后训练，性能比使用最强替代合成评分标准生成器 RRD 训练高出 4.5%。
自动生成的评分标准可能仍依赖初始 LLM 的质量，且在某些高度专业领域可能需要额外校准；9% 和 4.5% 的提升仅在特定基准上取得，泛化能力尚需验证。
全部知识事实 (7)
Rubricon 是一个无需人工偏好标签、评分标注或生成器模型训练即可自动生成评分标准的流水线，可配合任意 LLM 使用。
50%待验证Rubricon 的核心是一个四步迭代循环：采样多个候选评分标准、选择最具区分度的候选、添加捕捉被忽略需求的准则、修剪错位或浅显的准则。
50%待验证Rubricon 利用在示例模型响应上观察到的准则通过率作为数据驱动信号来指导评分标准的精炼，而非仅依赖 LLM 自我批判。
50%待验证Rubricon 在五个专业、消费、临床和通用 LLM 基准上进行了评估。
50%待验证Rubricon 生成的评分标准对前沿 LLM 响应的打分与专家编写的评分标准对齐度比最佳替代合成方法高出 9%，对比方法包括 RRD、QSRG、OpenRubrics 及 Codex 等智能体生成方法。
50%待验证在 HealthBench 上，使用 Rubricon 评分标准对 Qwen3.5-9B 进行后训练，性能比使用最强替代合成评分标准生成器 RRD 训练高出 4.5%。
50%待验证自动生成的评分标准可能仍依赖初始 LLM 的质量，且在某些高度专业领域可能需要额外校准；9% 和 4.5% 的提升仅在特定基准上取得，泛化能力尚需验证。
50%