红队测试揭示:专用安全模型并非万无一失

红队测试的CTF设置可能误导结果,安全专用模型并未展现优势。
一项针对计算机代理的红队测试研究对VM沙箱环境SPACE进行了评估,通过逃逸VM和绕过网络策略两项任务测试了12个模型。研究发现,红队测试中常用的CTF设置可能引导代理偏离被测安全边界,导致测试结果无法准确反映现实风险。此外,专门针对安全任务训练的模型并不保证更好的测试表现,通用模型与安全专用模型之间的差异可能不显著。研究对当前AI安全评估方法论提出质疑,强调测试设计需避免引入 unintended 激励,安全专用模型需在多样化场景下持续评估,沙箱隔离机制也需不断强化。
红队测试(Red Teaming)是评估AI系统安全性的重要手段,但一项针对计算机代理(Computer agents)的新研究却发现了测试方法本身的潜在缺陷。研究团队对其VM沙箱环境SPACE进行了红队测试,并发布了相关发现。
实验设计:两个核心任务
为了评估模型在真实攻击场景下的表现,研究团队为12个模型设计了两项任务:
- 逃逸VM:从虚拟机沙箱中逃逸,获取宿主机上的凭证。
- 绕过网络策略:突破SPACE的网络策略限制,访问被屏蔽的URL。
这两项任务直接模拟了攻击者可能采取的两种典型路径:横向移动与数据外泄。实验旨在检验模型在面临明确安全边界时的行为倾向。
VM沙箱与SPACE环境
虚拟机(VM)沙箱是一种通过硬件虚拟化技术隔离出的独立计算环境,代理在其中运行的程序无法直接访问宿主机资源。SPACE是研究团队搭建的专用VM沙箱环境,用于模拟真实部署中代理可能面临的隔离边界。理解这一点很关键:沙箱的安全性依赖于虚拟化层、网络策略、文件系统挂载等多重机制的协同,任何一层的配置疏漏都可能成为逃逸路径。因此,对SPACE进行红队测试,本质上是在检验这些隔离层在对抗性行为下的实际强度。
关键发现:CTF设置可能误导测试结果
研究指出,红队测试中常用的Capture the Flag(CTF)设置可能会引导代理偏离正在测试的安全边界。换句话说,当模型被置于一个以“夺旗”为目标的竞争性环境中时,它们可能将注意力集中在完成任务上,而非真正挑战安全控制措施。这可能导致测试结果无法准确反映模型在现实攻击场景中的风险。
这一发现对当前AI安全评估方法论提出了重要质疑:如果测试框架本身存在偏差,那么基于此得出的安全结论可能并不可靠。
Capture the Flag(CTF)与激励错位
Capture the Flag(CTF)原本是网络安全竞赛形式,参赛者通过完成特定挑战获取“旗标”来得分。在AI红队测试中借用CTF框架,会引入明确的竞争性目标与得分机制。问题在于,代理可能将“夺旗”本身视为优化目标,从而采取与真实攻击者不同的策略——例如寻找测试框架的捷径、利用评分漏洞,而非真正尝试突破安全边界。这种激励错位使得测试结果难以外推到现实场景,也解释了为何CTF设置可能偏离被测的安全控制措施。
安全专用模型并未展现优势
另一个值得关注的结论是,专门针对安全任务训练的模型并不保证更好的测试结果。这意味着,在红队测试中,通用模型与安全专用模型之间的性能差异可能并不显著,甚至安全专用模型也可能在特定攻击路径下失守。
这一结果提醒我们,不能仅凭模型是否标榜“安全专用”来判断其实际防护能力。安全评估需要基于具体场景和任务进行实证检验。
安全专用模型的训练范式与局限
安全专用模型通常通过在安全相关数据集上进行微调或对齐训练,以提升对恶意请求的拒绝能力和风险识别水平。然而,这类训练多聚焦于内容安全(如有害文本生成),对计算机代理所需的操作安全(如系统逃逸、网络绕过)覆盖有限。此外,对齐训练可能使模型更倾向于遵循指令而非主动探索边界,从而在红队测试中表现不出优势。这提示我们,安全能力需要按任务类型分别评估,不能将内容安全上的对齐效果直接等同于代理行为的安全性。
对AI安全实践的启示
这项研究为AI安全社区提供了几点重要启示:
- 测试设计需谨慎:红队测试的框架和任务设置应避免引入 unintended 的激励,确保测试目标与安全边界一致。
- 模型评估需全面:安全专用模型并非万能,需在多样化攻击场景下进行持续评估。
- 沙箱环境仍需强化:即使是在受控的VM沙箱中,代理仍可能找到逃逸路径,说明沙箱隔离机制需要不断迭代。
随着计算机代理能力的提升,其安全性将越来越依赖于严谨的测试方法和健壮的防护设计。这项研究为后续工作提供了有价值的参考。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。