待验证50% 置信事实精确时间

只看最终答案（answer-only）的评估方式会把无效的执行过程也计为成功

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

AI智能体的"完成"幻觉：语言正确≠任务完成

涉及实体

answer-only evaluationconcept

相关事实

待验证'只看答案'和'部分得分'的评估指标可能系统性地高估AI系统能力，评估必须检查过程而不只是终点74% 相似待验证研究观察到解答的正确性与推理轨迹的有效性之间存在明显的不相关性，模型经常在推理轨迹完全无效的情况下依然得出正确答案70% 相似待验证作者认为执行轨迹（trace）比自动评判结论更可靠，是判断Agent失败是否真实存在的关键依据68% 相似待验证纯写死规则的意图识别方案泛化能力差，用户换一种说法就识别失败66% 相似待验证LLM驱动智能体最危险的失败模式往往不是崩溃或报错，而是自信地宣称任务完成实则什么都没发生（幻觉式完成）64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/898941

API

curl https://kongchang.com/api/v1/knowledge/claims/898941

MCP

get_claim(id=898941)