待验证50% 置信决策规则精确时间

'只看答案'和'部分得分'的评估指标可能系统性地高估AI系统能力，评估必须检查过程而不只是终点

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

AI智能体的"完成"幻觉：语言正确≠任务完成

涉及实体

AI agent evaluationconcept

相关事实

待验证当模型能力超越人类评估者判断能力时如何验证对齐是否成功的问题被称为可扩展监督（Scalable Oversight）问题76% 相似待验证只看最终答案（answer-only）的评估方式会把无效的执行过程也计为成功74% 相似已验证跑分榜单衡量的是模型考试能力而非解决真实问题的能力73% 相似待验证没有可靠评估指标的提示优化本质上仍是试错而非工程，提示工程应与评估体系深度集成73% 相似待验证大模型评估应超越选择题范式，仅测试选对答案不足以衡量真实的事实理解，必须引入拒绝错误的对抗性评估72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/898950

API

curl https://kongchang.com/api/v1/knowledge/claims/898950

MCP

get_claim(id=898950)