待验证50% 置信事实精确时间

评估者问题（evaluator problem）指当被评估系统的能力逼近甚至超过普通评估者时，评估本身的有效性会崩溃

1

来源数

50%

置信度

长期有效

时效性

2026/10/8

首次发现

来源

陶哲轩回应OpenAI数学突破：AI证明的意义与边界

涉及实体

评估者问题concept

相关事实

待验证当模型能力超越人类评估者判断能力时如何验证对齐是否成功的问题被称为可扩展监督（Scalable Oversight）问题75% 相似待验证'只看答案'和'部分得分'的评估指标可能系统性地高估AI系统能力，评估必须检查过程而不只是终点73% 相似待验证评估失败的一类模式是问题出在评估管道（eval harness）本身，而非被评估的模型或 Agent69% 相似待验证人工评估贴近用户实际感受，但存在不稳定（主观）和效率低两个缺陷67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/987131

API

curl https://kongchang.com/api/v1/knowledge/claims/987131

MCP

get_claim(id=987131)