红队测试
借鉴军事概念的AI安全测试方法，指组织专职团队或外部研究者扮演攻击者角色，主动挖掘模型的安全薄弱点，完整测试需覆盖数百至数千种攻击场景
核心事实
时间轴 (近 90 天)
AI安全研究已形成多个技术分支：可解释性（mechanistic interpretability）、红队测试（red teaming）和形式化验证（formal verification）
作者建议将红队式安全回归测试纳入CI/CD流水线，测试用例应涵盖已知对抗性攻击模式如越狱提示词、有害内容诱导
红队测试的覆盖范围始终有限,难以穷尽所有可能的攻击向量,需要与自动化监控、沙盒隔离等其他安全措施形成互补的纵深防御体系
OpenAI在发布GPT-4时曾与专业生物安全机构合作进行红队测试
领先的AI实验室通常会在模型部署前进行数周到数月的红队测试，并邀请外部安全专家、伦理学者和领域专家参与
红队测试（Red Teaming）方法容易产生选择性展示偏差，用户更倾向于分享失败案例而非成功案例
红队测试（Red Teaming）源自军事和网络安全领域，在AI领域指由专业团队模拟对手攻击手段来检验模型的安全边界，OpenAI、Google DeepMind、Anthropic等公司在模型发布前都会组织专业的红队对抗测试
行业需要从打补丁的思维转向系统性预防的思维，包括主动式对齐研究、可解释性工作以及红队测试体系
反证Agent的设计理念源自安全领域的红队测试（Red Teaming）思想
红队测试源自军事演习中的对抗模拟概念，在AI领域指由专业人员或社区成员主动尝试攻破、欺骗或规避AI系统安全机制以发现漏洞
还有 1 条时间轴事件
全部知识事实 (13)
OpenAI、Anthropic、Google DeepMind等头部AI实验室都已建立了专门的红队测试流程，并将其作为模型发布前的必要环节
90%待验证Google DeepMind在Gemini的安全评估中纳入了类似的谄媚行为评估指标
75%待验证AI安全研究已形成多个技术分支：可解释性（mechanistic interpretability）、红队测试（red teaming）和形式化验证（formal verification）
50%待验证作者建议将红队式安全回归测试纳入CI/CD流水线，测试用例应涵盖已知对抗性攻击模式如越狱提示词、有害内容诱导
50%待验证红队测试的覆盖范围始终有限,难以穷尽所有可能的攻击向量,需要与自动化监控、沙盒隔离等其他安全措施形成互补的纵深防御体系
50%待验证OpenAI在发布GPT-4时曾与专业生物安全机构合作进行红队测试
50%待验证领先的AI实验室通常会在模型部署前进行数周到数月的红队测试，并邀请外部安全专家、伦理学者和领域专家参与
50%待验证红队测试（Red Teaming）方法容易产生选择性展示偏差，用户更倾向于分享失败案例而非成功案例
50%待验证红队测试（Red Teaming）源自军事和网络安全领域，在AI领域指由专业团队模拟对手攻击手段来检验模型的安全边界，OpenAI、Google DeepMind、Anthropic等公司在模型发布前都会组织专业的红队对抗测试
50%待验证行业需要从打补丁的思维转向系统性预防的思维，包括主动式对齐研究、可解释性工作以及红队测试体系
50%待验证反证Agent的设计理念源自安全领域的红队测试（Red Teaming）思想
50%待验证红队测试源自军事演习中的对抗模拟概念，在AI领域指由专业人员或社区成员主动尝试攻破、欺骗或规避AI系统安全机制以发现漏洞
50%待验证红队测试是AI安全领域的核心实践，红队成员系统性地尝试越狱自家模型以发现安全护栏漏洞
50%