待验证50% 置信基准精确时间

在 Android Bench 上，某模型仅用「migrate nav2 to nav3」这类自然提示时通过率为 22%；预先提供一套会失败的测试套件后，整体基准通过率跃升至 90%。

1

来源数

50%

置信度

短期 (~14 天)

时效性

2026/10/29

首次发现

有效期至：2026/11/12

来源

用Claude Code与Android CLI做Agentic工程

youtubeAndroid Developers2026/10/29

涉及实体

Android Benchbenchmark Navigation 3product

相关事实

待验证在79个配对中，累计逃避率在详细反馈条件下达到40.5%，在通用拒绝条件下为20.3%68% 相似待验证测试中出现模型自称某步有95%把握但按评分标准得0分的案例66% 相似待验证禁用模式约束和身份验证后，在回放/测试评估中错误后端分发率从0%飙升到95.28%66% 相似待验证在安慰剂测试中，双重差分法90%的估计落在-14%到+10%之间，RMSE为7.6个百分点66% 相似待验证在基准测试中，启发式峰值规则达到 93.3% 总体准确率、100.0% 冲击召回率、38.4% 步频误报，需要手动阈值调整。66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1113435

API

curl https://kongchang.com/api/v1/knowledge/claims/1113435

MCP

get_claim(id=1113435)