[控场AI]
· 4 分钟阅读· 2,477 字

OpenAI与谷歌图像模型被指易被绕过生成裸露内容

OpenAI与谷歌图像模型被指易被绕过生成裸露内容

OpenAI与谷歌图像模型被曝可绕过安全护栏生成裸露图像,暴露安全对齐滞后问题。

研究人员发现,OpenAI与谷歌最新图像生成模型的安全过滤器可被诱导性提示绕过,用户通过语义伪装、分步引导等方式能生成未经授权的裸露图像。问题根源在于模型强大的语义泛化能力与单次提示词分类机制之间的矛盾,以及多模态安全对齐在输出端的滞后。这一漏洞对行业产生多重影响:监管压力加剧可能推高合规成本,用户信任受损或导致正常创作被误伤,闭源模型的安全叙事优势也被削弱。可能的缓解路径包括输出端实时检测、对抗性训练迭代、用户行为分析及跨厂商信息共享,但各有局限。开发者被提醒不能将内容安全完全外包给模型提供商。

事件概述:顶级AI图像模型的安全护栏再遭质疑

据Reddit社区援引的研究人员最新分析,OpenAI与谷歌近期推出的图像生成模型在面对特定诱导性提示时,安全防护机制存在明显漏洞,用户可通过一系列提示词变形、语义伪装或分步引导,绕过内容审核系统,生成未经授权的裸露图像。

Reddit社区关于图像模型安全漏洞的讨论截图

这一问题并非首次出现。自文生图模型大规模商用以来,安全过滤器与绕过手段之间的攻防就从未停止。但研究人员指出,新一代模型在图像质量与语义遵循能力上大幅跃升的同时,其安全对齐策略似乎没有同步跟上,导致被滥用的门槛反而降低。

技术根源:为什么安全护栏总被绕过

语义泛化能力与安全判定的矛盾

现代图像模型的核心能力在于理解抽象、隐晦甚至带有隐喻的提示词。这种能力恰恰成为安全系统的软肋:攻击者不需要直接输入违禁词汇,而是通过看似无害的日常描述、文学隐喻或分步生成策略,让模型自行"脑补"出敏感内容。

研究人员在多个案例中发现,将敏感请求拆解为若干中间步骤——例如先生成一个穿着特定服装的人物姿态,再通过后续提示逐步修改细节——可以显著降低触发审核的概率。这种"渐进式绕过"对依赖单次提示词分类的过滤系统尤其有效。

语义泛化能力指的是模型将训练中习得的语义理解推广到未见过的表达方式上的能力。在文生图模型中,这意味着即使用户没有使用训练数据中出现过的确切词汇,模型也能根据上下文和常识推断出用户意图。例如,输入“一个人躺在沙滩上晒太阳”和输入“在阳光下舒展身体的人”,模型都能生成类似的构图。这种泛化能力是模型智能的体现,但同时也意味着安全过滤器无法简单地依赖关键词黑名单来拦截有害内容——因为有害意图可以通过无数种未曾被标记的表达方式传达。攻击者正是利用了这种能力,用看似无害的词汇组合让模型“自行理解”出敏感内容,而过滤器由于只匹配已知的违禁模式,往往无法识别这些变体。

多模态对齐的滞后性

OpenAI与谷歌的图像模型均依赖多模态对齐技术来理解图像与文本的对应关系。但研究人员认为,当前的安全对齐更多聚焦于文本输入端的有害内容识别,对生成输出端——即模型实际产出的图像——的实时检测覆盖不足。当模型被诱导生成边缘内容时,审核系统往往在事后才能识别,而此时图像已经交付给用户。

多模态对齐是指让模型在文本、图像等不同模态之间建立一致的语义表示,使得文本描述与生成图像在内容上保持匹配。在安全领域,多模态对齐的理想状态是模型不仅能理解“裸体”这个文本概念是有害的,还能在生成图像时主动避免生成对应的视觉内容。然而,当前的安全对齐通常分阶段进行:先对文本提示进行有害性分类,再在生成过程中通过引导或过滤来限制输出。这种分离式设计导致了一个关键漏洞——文本分类器可能认为某个提示是无害的,而图像生成器却基于其视觉理解产出了敏感内容。要弥补这一滞后,需要在模型内部建立文本与视觉安全概念的联合表示,使安全判定贯穿生成全过程而非仅停留在输入端。

行业影响:安全与开放的长期博弈

这一发现对AI图像生成行业的影响是多层面的。

监管压力加剧。 多国正在推进针对生成式AI的内容安全法规,要求平台对输出内容承担更大责任。若头部厂商的模型被反复证明可被轻易绕过,立法者可能倾向于采取更严格的强制性审核标准,增加整个行业的合规成本。

用户信任受损。 普通用户对图像生成工具的使用场景涵盖设计、营销、教育等正当领域。一旦平台因安全漏洞被迫收紧审核,正常创作也可能受到误伤,导致用户体验下降。

开源与闭源的路线之争。 闭源厂商常以安全可控为卖点,而此次事件表明,闭源模型同样面临安全挑战。这可能削弱闭源阵营在安全叙事上的优势,促使更多讨论转向如何在模型架构层面而非单纯依赖外部过滤器来嵌入安全能力。

生成式AI的内容安全法规正在全球范围内快速成形。欧盟的《人工智能法案》要求高风险AI系统进行合规评估并披露训练数据来源;中国的《生成式人工智能服务管理暂行办法》明确服务提供者需对生成内容承担安全责任;美国则通过行政令和联邦贸易委员会的执法行动,逐步收紧对AI生成内容的监管。这些法规的共同趋势是:将内容审核的责任从用户部分转移到平台方,要求平台建立事前预防、事中拦截和事后追溯的全链条机制。对于图像生成模型而言,这意味着平台不能仅以“用户滥用”为由免责,而必须证明其已采取合理的技术和管理措施来防止有害输出。若头部模型被反复证明可被轻易绕过,立法者可能进一步要求强制性的第三方审计或内置安全模块,从而显著提高行业的合规门槛。

可能的缓解路径

研究人员与社区讨论中浮现出若干技术方向:

  1. 输出端实时检测。 在图像生成完成后、交付用户前,增加独立的多模态审核层,而非仅依赖文本提示过滤。
  2. 对抗性训练的持续迭代。 将已知的绕过手法纳入训练数据,让模型学会识别渐进式诱导模式。
  3. 用户行为分析。 对高频尝试边缘提示的账户进行行为标记,结合人工复核。
  4. 行业信息共享。 建立跨厂商的绕过手法数据库,避免各自为战。

这些方案各有局限:输出检测增加延迟与算力成本,对抗训练可能被新一轮绕过手法快速突破,行为分析则涉及隐私争议。

对创作者与开发者的启示

对于依赖图像生成API的开发者而言,此次事件提醒我们:不能将内容安全完全外包给模型提供商。在产品层面建立自身的审核与兜底机制,是降低合规风险的必要步骤。

对于普通用户,理解这些模型的局限性同样重要——它们既不是无所不能的创作神器,也不是固若金汤的安全堡垒,而是一类仍在快速演化、充满不确定性的技术工具。

OpenAI与谷歌尚未就研究人员的具体发现作出公开回应。考虑到两家公司在图像生成领域的市场份额,其后续应对措施将很大程度上影响行业的安全标准走向。

#OpenAI图像模型#谷歌图像生成#AI安全漏洞#内容审核绕过#文生图安全#AI图像过滤#生成式AI监管
分享:

相关推荐