待验证50% 置信基准精确时间
Rubricon 生成的评分标准对前沿 LLM 响应的打分与专家编写的评分标准对齐度比最佳替代合成方法高出 9%，对比方法包括 RRD、QSRG、OpenRubrics 及 Codex 等智能体生成方法。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/30
首次发现
有效期至：2027/1/28
来源
Rubricon：自动生成评分标准，提升LLM评估与训练效率
rss2026/10/28
涉及实体
相关事实
待验证自动生成的评分标准可能仍依赖初始 LLM 的质量，且在某些高度专业领域可能需要额外校准；9% 和 4.5% 的提升仅在特定基准上取得，泛化能力尚需验证。70% 相似待验证在 DeepSeek 真实 LLM 上，研究者在 GSM8K、MATH 和 BBH 三个基准上各取 50 个样本进行评测，GraphEvoResearcher 分别达到 98%、92% 和 82% 的准确率，在所有基线中最高。69% 相似待验证当基准评分指标成为优化目标时会产生Goodhart定律效应，模型学会在特定格式上得高分而不一定真正提升能力，部分模型HumanEval得分超过95%但实际代码生成能力相差悬殊65% 相似待验证实验结果显示在模型错误设定条件下，PrO-GPs产生的预测分布比标准GP方法校准得更好（better calibrated）64% 相似待验证在从50%到92%的准确率提升中，REPL贡献最大（直接从50%跳至74%），随后领域知识注入、模糊搜索、公式追踪、系统prompt优化和bug修复层层累积64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1114368API
curl https://kongchang.com/api/v1/knowledge/claims/1114368MCP
get_claim(id=1114368)