RESCUE
一种面向机器人运行时故障监控的反事实评估框架,通过仿真回放比较不同干预动作的因果效果,将评估重心从检测准确率转移到报警触发行动的实际价值。
时间轴 (近 90 天)
RESCUE 是针对机器人故障监控评估盲区提出的反事实(Counterfactual)评估框架,核心关注点从'检测是否准确'转向'响应报警是否真能带来有用的干预'
RESCUE 在执行过程的各个检查点恢复仿真器状态和策略状态,识别满足特定恢复标准的最晚检查点,再评估依据报警采取行动是否真的降低了任务完成的期望成本
RESCUE 研究总计生成了 128,340 条反事实分支
机器人任务的可恢复性不只由机器人当前所处状态决定,而是取决于状态与干预方式的配对关系
引入恢复动作在某些条件下反而降低了可恢复性,脚本化恢复并非总是加分项
在主要的强策略条件下,优秀的检测分数并不能证明更低的干预成本
在'停止并重置'模型下,即便是一个理想化的完美检测器也只能承受 2.0% 到 3.3% 的误报率,一旦超过该区间不必要重置的损失就会超过提前停止失败任务所节省的成本
构建监控器时精确率(Precision)的权重应被显著提高,而不能单纯以召回率(Recall)为优化目标
监控器的价值取决于可用的干预手段以及它被部署进去的工作负载,无法脱离干预动作和部署工作负载单独衡量
全部知识事实 (9)
RESCUE 是针对机器人故障监控评估盲区提出的反事实(Counterfactual)评估框架,核心关注点从'检测是否准确'转向'响应报警是否真能带来有用的干预'
50%待验证RESCUE 在执行过程的各个检查点恢复仿真器状态和策略状态,识别满足特定恢复标准的最晚检查点,再评估依据报警采取行动是否真的降低了任务完成的期望成本
50%待验证RESCUE 研究总计生成了 128,340 条反事实分支
50%待验证机器人任务的可恢复性不只由机器人当前所处状态决定,而是取决于状态与干预方式的配对关系
50%待验证引入恢复动作在某些条件下反而降低了可恢复性,脚本化恢复并非总是加分项
50%待验证在主要的强策略条件下,优秀的检测分数并不能证明更低的干预成本
50%待验证在'停止并重置'模型下,即便是一个理想化的完美检测器也只能承受 2.0% 到 3.3% 的误报率,一旦超过该区间不必要重置的损失就会超过提前停止失败任务所节省的成本
50%待验证构建监控器时精确率(Precision)的权重应被显著提高,而不能单纯以召回率(Recall)为优化目标
50%待验证监控器的价值取决于可用的干预手段以及它被部署进去的工作负载,无法脱离干预动作和部署工作负载单独衡量
50%