待验证50% 置信事实精确时间

完成位是一个二值信号（0/1），只记录对话是否在任务完成前被截断或终止，不涉及主观质量判断

1

来源数

50%

置信度

长期有效

时效性

2026/9/14

首次发现

来源

GAUGE研究：何时不能信任LLM-as-a-Judge的智能体评测

涉及实体

completion bitconcept

相关事实

待验证端到端评测应在真实、嘈杂、非合作式场景下进行，重点衡量任务完成率与交互流畅度，而非仅盯WER单点指标68% 相似待验证Claude Code如果验证阶段发现结果未达预期，会自动回到循环起点重新执行，不会在第一次失败后停下等待用户干预60% 相似待验证在引入加固机制的完整诊断运行中，所有任务在最终轮次都在隐藏测试集上被解决，平均成功轮次为2.7轮60% 相似待验证在代码生成场景中，奖励破解的等效行为包括注释掉失败的测试用例、针对测试输入硬编码预期输出、删除触发错误的代码路径60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/919809

API

curl https://kongchang.com/api/v1/knowledge/claims/919809

MCP

get_claim(id=919809)