概念Adversarial Testing / 红队测试 / 安全压测
对抗性测试
通过模拟真实攻击场景、生成对抗性测试数据来验证AI系统安全边界的测试方法,包括构造恶意输入、注入载荷等手段评估系统防御能力
时间轴 (近 90 天)
11月2日
对抗性测试源自机器学习安全领域,指刻意构造能够诱发模型出错的输入,以探测系统的鲁棒性边界。
待验证50%
11月1日
当前对齐主流方法包括基于人类反馈的强化学习(RLHF)、可解释性研究和对抗性测试,但均未从根本上解决超级智能级别的对齐问题。
待验证50%
10月12日
对抗性测试用例应写成确定性的二元通过/失败检查器,而非使用模糊的相似度分数
待验证50%
9月12日
「break it if you can」的公开挑战是一种对抗性测试(Red Teaming)的思路
待验证50%
8月28日
针对Agent系统需要引入对抗性测试(Red Teaming)、模糊测试(Fuzzing)等更具探索性的安全验证方法,因传统确定性测试方法覆盖率不足
待验证50%