概念内容审核层 / 安全过滤
AI安全过滤器
模型侧的内容审核机制,用于阻止生成恶意代码、攻击载荷等有害内容,但可能误伤防御性安全研究请求
时间轴 (近 90 天)
10月19日
OpenCode团队在排查时发现AI安全过滤器拒绝分析与攻击相关的危险文件,随后获得了OpenAI一个特殊项目权限,该项目下的模型不会拒绝此类防御性安全任务。
待验证50%
10月16日
一位用户请AI帮忙写邮件,AI以安全准则拒绝,经过47轮拉锯后,用户仅发'please'一词,AI随即写出邮件并表达歉意。
待验证50%
10月16日
安全过滤器的执行方式存在副作用:拒绝曲线平缓时,用户会学到'再试一次就好使',这与安全设计目标背道而驰。
待验证50%