待验证50% 置信事实精确时间
评测结果共41个失败案例,其中3个是真正的AI代理故障,28个是评分器或测试用例的bug,9个是回复检查过于严格,1个是邮箱掩码处理缺陷。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/29
首次发现
有效期至:2026/11/12
来源
AI客服评测翻车:41个失败案例,28个是测试自身bug
redditr/aiagents2026/10/29
涉及实体
相关事实
待验证用完成度式的代理指标评分会把干净终止但结果错误的失败判为成功,这是当前许多智能体评估的缺陷76% 相似待验证47个失败中有29个属于间距值偏离比例,是AI生成UI最普遍的问题。76% 相似待验证在42个关于罗马尼亚法律期限的候选答案测试中,作者自有的AI安全检查系统接受了全部28个错误答案(错误当事方和错误行为各14个),同时拒绝了14个正确答案中的6个。76% 相似待验证标准分为基础性、过早披露、目标偏离、信息遗漏四个族,共19种失败模式,其中18种在实际测试中触发。74% 相似待验证开源小型模型gemma2:2b作为检查器时,接受了28个错误答案中的8个(其中错误当事方6个、错误行为2个),同时拒绝了14个正确答案中的10个。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1110936API
curl https://kongchang.com/api/v1/knowledge/claims/1110936MCP
get_claim(id=1110936)