[控场AI]
概念内容审核层 / 安全过滤

AI安全过滤器

模型侧的内容审核机制,用于阻止生成恶意代码、攻击载荷等有害内容,但可能误伤防御性安全研究请求

时间轴 (近 90 天)

10月19日

OpenCode团队在排查时发现AI安全过滤器拒绝分析与攻击相关的危险文件,随后获得了OpenAI一个特殊项目权限,该项目下的模型不会拒绝此类防御性安全任务。

待验证50%
10月16日

一位用户请AI帮忙写邮件,AI以安全准则拒绝,经过47轮拉锯后,用户仅发'please'一词,AI随即写出邮件并表达歉意。

待验证50%
10月16日

安全过滤器的执行方式存在副作用:拒绝曲线平缓时,用户会学到'再试一次就好使',这与安全设计目标背道而驰。

待验证50%

全部知识事实 (3)

来源文章