待验证50% 置信事实精确时间
Rubricon 利用在示例模型响应上观察到的准则通过率作为数据驱动信号来指导评分标准的精炼,而非仅依赖 LLM 自我批判。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
Rubricon:自动生成评分标准,提升LLM评估与训练效率
rss2026/10/28
涉及实体
相关事实
待验证模型倾向于给自己的输出(或风格相似的输出)打高分;Panickssery et al. 发现 LLM 评估器能识别自己的生成内容并予以偏爱。70% 相似待验证Rubricon 是一个无需人工偏好标签、评分标注或生成器模型训练即可自动生成评分标准的流水线,可配合任意 LLM 使用。69% 相似待验证rubric 遵循是指模型按照预先给定的一组分项标准逐条判断,而不是自由生成结论。68% 相似待验证加权保形p值用于校正从行为策略到目标策略的分布偏移,使保形推断适用于反事实评估。67% 相似待验证生成指标通常用LLM作为评判者,借助Ragas等库计算,包括忠实度、答案相关性和答案正确性。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1114365API
curl https://kongchang.com/api/v1/knowledge/claims/1114365MCP
get_claim(id=1114365)