待验证50% 置信基准精确时间
Khoj的基准测试向图的副本注入200个新项目,一半隐藏四种风险模式之一,一半是带陷阱的干净对照;不使用两条结构性规则的消融实验几乎找出所有风险,但误标了93%的干净项目。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至:2027/1/16
来源
用图数据库做房产尽调Agent:隐藏风险检出率81%
rss2026/10/18
涉及实体
相关事实
待验证第一版任务集为100%陷阱题,单次作答基线为0/12,无法测量无门控修正的危害;加入干净任务后危害才可测量。69% 相似待验证对抗测试的效果高度依赖场景库的完备性,未被预见的攻击路径依然是盲区,单次通过测试不代表Agent在生产中永远安全66% 相似待验证编排实验中整个构建过程约有 30 处实质性缺陷,分四轮修复后无一遗留到最终版本,这些缺陷都靠外部验证发现,模型自身从未主动察觉65% 相似待验证该项目的观察发现:注意率和安全行动率之间的差异远大于预期——一个模型可以在推理轨迹中标记风险,但两步之后仍发出危险的工具调用,因为脚手架中没有任何机制在检测到风险时强制硬停止。这是系统设计缺口,不只是模型能力缺口。64% 相似待验证实验核心结论是:一个重新查看原始素材而非信任前一步摘要的步骤能捕捉真实错误;而通过过窄schema交接产出的规划步骤买不到任何可靠贡献。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1062682API
curl https://kongchang.com/api/v1/knowledge/claims/1062682MCP
get_claim(id=1062682)