待验证50% 置信基准精确时间
开源小型模型gemma2:2b作为检查器时,接受了28个错误答案中的8个(其中错误当事方6个、错误行为2个),同时拒绝了14个正确答案中的10个。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至:2027/1/14
来源
AI安全检查盲区:28个错误答案为何全部通过
rss2026/10/16
涉及实体
相关事实
待验证在42个关于罗马尼亚法律期限的候选答案测试中,作者自有的AI安全检查系统接受了全部28个错误答案(错误当事方和错误行为各14个),同时拒绝了14个正确答案中的6个。75% 相似待验证在横跨13个模型、两种指令、962条打分响应的逐字引用基准测试中,没有一个模型在引文内修正过任何一处植入错误75% 相似待验证每个模型回答 112 道题(7 类缺陷 × 2 个版本 × 4 次重复 × 2 种条件),其中一半有缺陷一半健全,机械回答'none'的模型会得到 0.50 分基线73% 相似待验证按题目难度排序,所有模型都答对的60道题坚持率91.4%,至少一个模型答错的52道题坚持率仅73.5%,表明谄媚追踪不确定性73% 相似待验证加入校验规则后,开发者新增7个未调优问题,31题在线运行正确28题;其中一个失败源于开发者自身bug(模型输出'$8.00'而网站写的是'$8',数字校验判为不匹配),修复后同样草稿通过29/31。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1045677API
curl https://kongchang.com/api/v1/knowledge/claims/1045677MCP
get_claim(id=1045677)