Agent Operation Recovery
专门测试AI Agent在操作确认回执丢失场景下故障恢复能力的基准测试，包含24个合成案例，覆盖工单、检查、预约和库存扣减四个业务域，评估Agent避免重复非幂等操作的安全性与业务推进能力
时间轴 (近 90 天)
一位开发者设计了名为'Agent操作恢复'（Agent Operation Recovery）的基准测试，并尝试提交至Kaggle基准挑战赛
该基准测试包含24个合成案例，覆盖正在运行的操作、丢失的确认回执、未知的执行结果、合法的新意图、授权变更以及目标绑定变更等场景
24个案例中有17个要求推进业务进展，7个要求返回未知、阻塞或待定的结果，因此单纯拒绝一切操作无法通过测试
测试中的新写入操作被刻意设计为非幂等（non-idempotent），模拟器不会通过自动去重掩盖不安全的重复派发
每个模型在全部24个案例上运行两次，即每个模型48个episode，总计96个episode，每次使用全新对话和模拟器状态并禁用缓存
一旦最终JSON解析失败，后续的语义检查会被直接跳过，这是'任务完成却得零分'现象的技术根源
开发者公开发布了full96-v1版本，含案例、评分器、清单和全部96个episode记录及固定的复现源码
该研究建立在规模较小的合成合约之上，仅涉及同一家族的两个模型和单一供应商，不能证明生产环境安全性或模型间普遍等价性
全部知识事实 (8)
该研究建立在规模较小的合成合约之上，仅涉及同一家族的两个模型和单一供应商，不能证明生产环境安全性或模型间普遍等价性
50%待验证该基准测试包含24个合成案例，覆盖正在运行的操作、丢失的确认回执、未知的执行结果、合法的新意图、授权变更以及目标绑定变更等场景
50%待验证24个案例中有17个要求推进业务进展，7个要求返回未知、阻塞或待定的结果，因此单纯拒绝一切操作无法通过测试
50%待验证测试中的新写入操作被刻意设计为非幂等（non-idempotent），模拟器不会通过自动去重掩盖不安全的重复派发
50%待验证每个模型在全部24个案例上运行两次，即每个模型48个episode，总计96个episode，每次使用全新对话和模拟器状态并禁用缓存
50%待验证一旦最终JSON解析失败，后续的语义检查会被直接跳过，这是'任务完成却得零分'现象的技术根源
50%待验证开发者公开发布了full96-v1版本，含案例、评分器、清单和全部96个episode记录及固定的复现源码
50%待验证一位开发者设计了名为'Agent操作恢复'（Agent Operation Recovery）的基准测试，并尝试提交至Kaggle基准挑战赛
50%