待验证50% 置信基准精确时间
据STALE(arXiv:2605.06527)研究,该团队构建了400个专家验证的冲突场景测试LLM Agent能否识别自身记忆失效,最强前沿模型整体准确率仅为55.2%。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至:2027/1/12
来源
涉及实体
相关事实
待验证研究团队以Llama-3.1-8B-Instruct模型为实验对象,在3个留出的欺骗检测数据集上考察探针泛化性能70% 相似待验证团队编写自动化验收脚本,针对关键球查询、事实陷阱题、敏感拦截、多轮对话共63个用例全部跑通,并支持一键回归测试69% 相似待验证作者检查了约1500次检测调用,手动挖掘误报、调整边界框后重新训练模型68% 相似待验证可靠的做法是通过行为测试间接验证:设计一个依赖特定记忆的任务,看Bot是否按预期执行,而不是问它“你记住了什么”。68% 相似待验证研究者构建了名为 ALIGNMENTFORECASTBENCH 的基准测试集,覆盖超过5000个预测问题、17个目标模型、32个数据集和16种失效模式68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1030576API
curl https://kongchang.com/api/v1/knowledge/claims/1030576MCP
get_claim(id=1030576)