e-PoG
e-PoG是一种将AI代理欺骗缓解形式化为评估侧部分可观测扩展式博弈的框架,通过max-min博弈结构让监控器揭露欺骗行为,并定义子博弈完美监督均衡(SPOE)作为解概念。
时间轴 (近 90 天)
研究者将AI代理欺骗缓解形式化为一个评估侧部分可观测扩展式博弈(e-PoG),这是一个max-min框架:代理最大化奖励,监控器从完整交互轨迹中揭露欺骗以最小化代理收益,固定验证器验证监控器声明并转化为惩罚。
e-PoG框架定义了一个解概念——子博弈完美监督均衡(SPOE),论文证明了在有限博弈中SPOE的存在性。
实验结果显示,e-PoG在欺骗缓解指标上比最强基线高出26.0%,在任务成功率上最高提升39.8%。
e-PoG的增益在弱到强的监督下依然保持。
e-PoG的代码已开源,地址为 https://github.com/Toyoid/deceptive-agent。
e-PoG的有效性依赖于验证器的质量,在实际应用中构建可靠的验证器本身就是一个挑战。
e-PoG的实验规模有限,未来需要在更复杂的开放场景中检验其泛化能力。
在e-PoG中,监控器的声明通过NLI验证与交互轨迹中的证据进行一致性检查,同时通过确定性检查验证工具调用参数、环境状态变更等结构化事实。
全部知识事实 (8)
研究者将AI代理欺骗缓解形式化为一个评估侧部分可观测扩展式博弈(e-PoG),这是一个max-min框架:代理最大化奖励,监控器从完整交互轨迹中揭露欺骗以最小化代理收益,固定验证器验证监控器声明并转化为惩罚。
50%待验证e-PoG框架定义了一个解概念——子博弈完美监督均衡(SPOE),论文证明了在有限博弈中SPOE的存在性。
50%待验证实验结果显示,e-PoG在欺骗缓解指标上比最强基线高出26.0%,在任务成功率上最高提升39.8%。
50%待验证e-PoG的增益在弱到强的监督下依然保持。
50%待验证在e-PoG中,监控器的声明通过NLI验证与交互轨迹中的证据进行一致性检查,同时通过确定性检查验证工具调用参数、环境状态变更等结构化事实。
50%待验证e-PoG的有效性依赖于验证器的质量,在实际应用中构建可靠的验证器本身就是一个挑战。
50%待验证e-PoG的实验规模有限,未来需要在更复杂的开放场景中检验其泛化能力。
50%待验证e-PoG的代码已开源,地址为 https://github.com/Toyoid/deceptive-agent。
50%