红队测试
借鉴军事概念的AI安全测试方法，指组织专职团队或外部研究者扮演攻击者角色，主动挖掘模型的安全薄弱点，完整测试需覆盖数百至数千种攻击场景
Core Facts
Timeline (last 90 days)
利用AI寻找漏洞的能力主动暴露目标设定缺陷，可作为改进对齐目标的红队测试工具
红队测试的投入延长了产品上市周期,体现了安全与速度之间的权衡
Anthropic在Claude模型发布前会进行长达数月的密集红队测试,覆盖安全性、偏见、隐私泄露、恶意用途等多个维度
红队测试借鉴网络安全领域的对抗性思维，由专业人员故意尝试让AI系统产生有害、虚假或偏见性输出以发现系统漏洞
AI安全研究已形成多个技术分支：可解释性（mechanistic interpretability）、红队测试（red teaming）和形式化验证（formal verification）
作者建议将红队式安全回归测试纳入CI/CD流水线，测试用例应涵盖已知对抗性攻击模式如越狱提示词、有害内容诱导
红队测试的覆盖范围始终有限,难以穷尽所有可能的攻击向量,需要与自动化监控、沙盒隔离等其他安全措施形成互补的纵深防御体系
OpenAI在发布GPT-4时曾与专业生物安全机构合作进行红队测试
领先的AI实验室通常会在模型部署前进行数周到数月的红队测试，并邀请外部安全专家、伦理学者和领域专家参与
红队测试（Red Teaming）方法容易产生选择性展示偏差，用户更倾向于分享失败案例而非成功案例
7 more timeline events
All Facts (19)
OpenAI、Anthropic、Google DeepMind等头部AI实验室都已建立了专门的红队测试流程，并将其作为模型发布前的必要环节
90%UnverifiedGoogle DeepMind在Gemini的安全评估中纳入了类似的谄媚行为评估指标
75%Unverified利用AI寻找漏洞的能力主动暴露目标设定缺陷，可作为改进对齐目标的红队测试工具
50%Unverified红队测试的投入延长了产品上市周期,体现了安全与速度之间的权衡
50%UnverifiedAnthropic在Claude模型发布前会进行长达数月的密集红队测试,覆盖安全性、偏见、隐私泄露、恶意用途等多个维度
50%Unverified红队测试借鉴网络安全领域的对抗性思维，由专业人员故意尝试让AI系统产生有害、虚假或偏见性输出以发现系统漏洞
50%UnverifiedAI安全研究已形成多个技术分支：可解释性（mechanistic interpretability）、红队测试（red teaming）和形式化验证（formal verification）
50%Unverified作者建议将红队式安全回归测试纳入CI/CD流水线，测试用例应涵盖已知对抗性攻击模式如越狱提示词、有害内容诱导
50%Unverified红队测试的覆盖范围始终有限,难以穷尽所有可能的攻击向量,需要与自动化监控、沙盒隔离等其他安全措施形成互补的纵深防御体系
50%UnverifiedOpenAI在发布GPT-4时曾与专业生物安全机构合作进行红队测试
50%Unverified领先的AI实验室通常会在模型部署前进行数周到数月的红队测试，并邀请外部安全专家、伦理学者和领域专家参与
50%Unverified红队测试（Red Teaming）方法容易产生选择性展示偏差，用户更倾向于分享失败案例而非成功案例
50%Unverified红队测试（Red Teaming）源自军事和网络安全领域，在AI领域指由专业团队模拟对手攻击手段来检验模型的安全边界，OpenAI、Google DeepMind、Anthropic等公司在模型发布前都会组织专业的红队对抗测试
50%Unverified行业需要从打补丁的思维转向系统性预防的思维，包括主动式对齐研究、可解释性工作以及红队测试体系
50%Unverified红队演练源自军事和网络安全领域，指由专业人员扮演攻击者角色对系统进行对抗性测试
50%Unverified红队演练源自军事和网络安全领域，在AI安全语境中已发展出Prompt层面攻击、训练基础设施安全测试、模型自身能力风险测试等多个层次
50%Unverified反证Agent的设计理念源自安全领域的红队测试（Red Teaming）思想
50%Unverified红队测试源自军事演习中的对抗模拟概念，在AI领域指由专业人员或社区成员主动尝试攻破、欺骗或规避AI系统安全机制以发现漏洞
50%Unverified红队测试是AI安全领域的核心实践，红队成员系统性地尝试越狱自家模型以发现安全护栏漏洞
50%