AI安全≠网络安全：Gray Swan创始人详解红队测试新范式

AI安全需要全新思维框架

OpenAI董事会成员Zico Kolter与Gray Swan CEO Matt Fredrikson近日在一次深度对话中，阐述了一个被业界广泛误解的观点：AI安全绝不仅仅是"用AI做网络安全"。这一论断来自两位在AI对抗性研究领域深耕多年的学者型创业者，值得整个行业认真审视。

对抗性研究是机器学习安全的核心分支，起源于2013年Szegedy等人发现的"对抗样本"现象——通过对输入数据施加人眼不可察觉的微小扰动，就能让深度学习模型产生完全错误的输出。Kolter本人是该领域的奠基性研究者之一，他在2017年提出的PGD（Projected Gradient Descent）攻击方法至今仍是对抗鲁棒性评估的标准基准。Fredrikson则以模型逆向攻击（Model Inversion Attack）研究闻名，证明了攻击者可以从模型输出中反推训练数据中的敏感信息。两人的学术积累直接塑造了Gray Swan的技术路线。

rss source

红队测试的演进：从手工探索到系统工程

传统红队测试为何不够用

红队测试（Red-Teaming）是评估AI系统安全性的核心方法，过去几年发展迅速。红队测试这一概念起源于冷战时期的军事演习，美军用"红队"模拟苏联对手来检验己方防御能力。在网络安全领域，红队测试指由专业安全人员模拟真实攻击者，对系统进行全方位渗透测试。进入AI时代后，红队测试被引入大语言模型安全评估，但其含义发生了根本性变化：测试对象不再是确定性的代码逻辑，而是概率性的神经网络行为。OpenAI、Anthropic、Google DeepMind等主要AI实验室都在模型发布前进行大规模红队测试，但方法论仍处于快速迭代阶段，缺乏统一标准。

然而，随着大语言模型能力飞速提升，传统红队测试方法正面临根本性挑战。Kolter和Fredrikson指出，许多组织仍然用网络安全的思维框架来理解AI安全问题，这种认知偏差可能导致严重的安全盲区。

传统网络安全关注的是明确的攻击面——漏洞、端口、权限提升路径。传统网络安全建立在一套成熟的概念体系之上：CVE（通用漏洞披露）编号系统、CVSS（通用漏洞评分系统）、渗透测试方法论如OWASP Top 10等。这些框架假设漏洞是离散的、可编目的、可修复的。但AI系统的"攻击面"是模糊的、概率性的、高度依赖上下文的。AI系统的"漏洞"本质上不同——它们不是代码中的逻辑错误，而是高维参数空间中的统计偏差。一个"越狱"（jailbreak）提示之所以有效，不是因为代码有bug，而是因为模型在训练过程中学到的概率分布存在可被利用的模式。这意味着传统的"发现-报告-修复-验证"安全工作流在AI领域需要根本性重构。NIST（美国国家标准与技术研究院）已于2024年发布了AI风险管理框架（AI RMF），试图为这一新范式建立基础标准。一个在某种提示下表现安全的模型，可能在稍加变换的语境中完全失控。

AI安全面临的三大独特挑战

与网络安全相比，AI安全在以下几个维度上存在本质差异：

不确定性边界：传统软件要么有漏洞要么没有，但AI模型的行为是概率性的。你无法通过一次测试就宣布系统"安全"，因为同一个模型在不同上下文中可能表现出截然不同的行为模式。

对抗性适应：攻击者可以通过观察模型的响应模式，动态调整攻击策略。这种"猫鼠游戏"的动态性远超传统网络安全场景。近年来涌现的自动化越狱技术——如GCG（Greedy Coordinate Gradient）攻击、基于遗传算法的提示变异、以及利用多轮对话逐步突破安全边界的"渐进式越狱"——都展示了攻击者如何系统性地利用模型的统计特性来绕过安全对齐。

能力涌现的不可预测性：随着模型规模增长，新能力可能突然涌现，带来之前未曾预见的风险类别。Google Research在2022年发表的论文中系统性地记录了这一现象：当模型参数规模跨越某个阈值时，模型会突然展现出在较小规模时完全不具备的能力，例如多步推理、代码生成、甚至基础的数学证明。这种非线性跃迁意味着安全评估存在根本性困难——你无法基于当前版本的行为来可靠预测下一代模型的风险特征。斯坦福大学的研究团队将此称为"能力预测的不可能性"，这也是为什么Kolter和Fredrikson强调安全评估必须是持续性的而非一次性的。

Gray Swan的方法论：学术深度驱动产业实践

将红队测试从"手工艺"升级为"工程学科"

Gray Swan作为一家专注于AI安全的公司，核心理念是让红队测试变得可系统化、可量化。Gray Swan AI由卡内基梅隆大学计算机科学学院的三位教授联合创立，除Kolter和Fredrikson外，还包括专注于形式化验证的研究者。卡内基梅隆大学长期位居全球计算机科学排名前列，其在AI安全、机器人安全和软件安全领域的研究积累深厚。Gray Swan的名字本身就暗含深意——与纳西姆·塔勒布提出的"黑天鹅"（完全不可预见的事件）不同，"灰天鹅"指那些理论上可以预见但实践中常被忽视的风险，这恰好对应了AI安全中许多已知但未被充分应对的威胁类别。

Fredrikson强调，有效的AI红队测试需要做到三点：

自动化探索：利用AI本身来发现AI的弱点，构建自动化的对抗性测试流水线。这一思路与"以毒攻毒"的理念一脉相承——用一个经过专门训练的"攻击模型"来系统性地探索目标模型的安全边界，其效率和覆盖面远超人工测试。
系统性覆盖：不依赖个别测试者的创造力，而是建立可复现、可量化的评估框架。这要求定义清晰的风险分类体系（taxonomy），涵盖从有害内容生成、隐私泄露、偏见放大到工具滥用等多个维度，并为每个维度建立量化指标。
持续监控：安全评估不是一次性事件，而是贯穿模型全生命周期的持续过程。模型在部署后会面临分布漂移（distribution shift）——真实用户的输入模式与训练数据和测试数据可能存在显著差异，这意味着部署前的安全评估无法覆盖所有实际风险。

学术前沿与产品落地的双向通道

Kolter作为卡内基梅隆大学教授和OpenAI董事会成员，同时也是Gray Swan的联合创始人。Kolter于2024年加入OpenAI重组后的董事会，这一任命本身就反映了AI行业对安全治理的重视升级。2023年底OpenAI经历了震动全球科技界的董事会危机——CEO Sam Altman被短暂解职又迅速复职，事件的核心争议之一就是AI安全与商业化速度之间的张力。重组后的董事会刻意引入了更多具有技术安全背景的成员，Kolter的加入正是这一策略的体现。他同时担任AI安全公司创始人和最前沿AI实验室的治理者，这种双重角色既提供了独特的视角，也引发了关于利益冲突的讨论。

他的多重身份使得Gray Swan能够将前沿学术研究快速转化为实用的安全工具。公司的核心产品包括自动化红队测试平台和模型安全评估工具，服务对象涵盖AI实验室和企业级AI部署场景。这种学术界与产业界的紧密结合，在AI安全领域尤为关键——因为新的攻击方法往往首先在学术论文中被发现和公开，谁能更快地将研究成果工程化，谁就能在安全攻防中占据先机。

行业启示：重新定义AI安全边界

摒弃"发现漏洞-打补丁"的旧思路

两位专家共同呼吁行业超越传统的补丁式安全思维。AI系统的安全性需要从设计阶段就被纳入考量，而不是事后补救。这一理念在软件工程中被称为"安全左移"（Shift Left Security），但在AI领域的实施远比传统软件复杂——因为AI模型的行为不是由显式编写的规则决定的，而是从海量数据中隐式学习而来的。具体来说：

模型训练过程本身需要融入安全约束，包括RLHF（基于人类反馈的强化学习）中的安全偏好标注、对抗训练（adversarial training）以增强模型对恶意输入的鲁棒性、以及宪法AI（Constitutional AI）等自我约束机制
部署环境需要多层防护机制，包括输入过滤、输出审核、速率限制、以及基于意图分类的动态安全策略
安全评估标准需要随模型能力同步演进，当前的评估基准可能在下一代模型面前完全失效

给AI应用开发者的实操建议

对于正在构建AI应用的开发者，这次对话传递了一个明确信号：不要假设你使用的基础模型已经"足够安全"。每一个具体的应用场景都可能引入新的攻击向量，需要针对性的安全评估。例如，一个用于客服的AI助手在接入企业内部知识库后，可能被攻击者通过精心构造的提示诱导泄露敏感的商业数据——这类"间接提示注入"（Indirect Prompt Injection）攻击已经在多个实际部署场景中被验证。将安全测试纳入开发流程的每个阶段，而非仅在上线前做一次检查，才是应对AI安全风险的正确姿态。

结语

AI安全作为一个独立学科正在快速成熟。Kolter和Fredrikson的观点提醒我们，在这个领域照搬传统网络安全的经验可能不仅无效，甚至有害——因为它会制造一种虚假的安全感。真正的AI安全需要新的工具、新的方法论，以及对AI系统本质特性的深刻理解。当前，全球范围内的AI安全监管框架也在加速成型——欧盟《AI法案》已于2024年正式生效，美国白宫发布了AI安全行政令，中国也出台了生成式AI管理办法。这些政策信号进一步表明，AI安全不再是学术界的小众议题，而是关乎整个技术生态健康发展的基础设施级问题。对于每一位AI从业者而言，现在是重新审视自身安全策略的关键时刻。