待验证50% 置信解决方案精确时间

使用 LLM-as-a-judge 做安全评测时，应当显式检查裁判的拒绝率，而不是只看最终分数。

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

Manacá-1B-Instruct-2：巴西葡语LLM的可复现安全对齐与DPO负结果

涉及实体

LLM-as-a-judgeconcept

相关事实

待验证LLM-as-a-Judge 常见评估模式包括单点评分、成对比较以及参考答案对照评分80% 相似待验证强制检查应与评分分离，可选检查项得分再高也无法抵消一个失败的强制检查74% 相似待验证DischargeBench依赖LLM-as-a-Judge的评审可靠性，其与医生真实判断的对齐程度仍需持续验证72% 相似待验证Judge 评估器适合主观维度（如幻觉、语气、指令遵循）的评测，常配合 0-100 分和通过阈值使用。71% 相似待验证主观性判断标准（如内容是否全面）在LLM评审中几乎是随机的，而事实性检查（如X是否存在）基本不翻转69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1032801

API

curl https://kongchang.com/api/v1/knowledge/claims/1032801

MCP

get_claim(id=1032801)