安全过滤器
在强化学习中于动作执行前进行安全修正的机制，经典实现依赖解析安全函数与动力学模型，包括最小干预过滤器等变体。
核心事实
时间轴 (近 90 天)
仅审查文本输出的安全过滤器会漏掉工具调用参数中携带的敏感信息，需要将安全监控扩展到工具调用层。
当开发者要求Claude修复其自行发现的漏洞时，对话被安全过滤器中断，拒绝生成补丁。
安全过滤器通常以独立分类器或规则层的形式运行在模型输出之前，对请求与生成内容进行意图判定，识别是否涉及恶意代码、凭据窃取、绕过认证等模式。
安全过滤器的设计假设是“请求修复认证代码”与“请求编写绕过认证的代码”在文本特征上高度相似，因而容易产生误报。
业界常见的缓解安全过滤器误报的思路包括引入可信上下文（如已验证的仓库所有权、组织级API凭证）、提供申诉与人工复核通道，以及为安全研究和修复场景开放受限的白名单模式。
过度保守的安全过滤器可能误伤合法、无害甚至属于公共知识的内容
模型层安全约束（对齐训练、系统提示词、输出过滤器）都面临越狱风险，精心构造的提示词可以绕过这些约束
全部知识事实 (6)
模型层安全约束（对齐训练、系统提示词、输出过滤器）都面临越狱风险，精心构造的提示词可以绕过这些约束
65%待验证仅审查文本输出的安全过滤器会漏掉工具调用参数中携带的敏感信息，需要将安全监控扩展到工具调用层。
50%待验证安全过滤器通常以独立分类器或规则层的形式运行在模型输出之前，对请求与生成内容进行意图判定，识别是否涉及恶意代码、凭据窃取、绕过认证等模式。
50%待验证安全过滤器的设计假设是“请求修复认证代码”与“请求编写绕过认证的代码”在文本特征上高度相似，因而容易产生误报。
50%待验证业界常见的缓解安全过滤器误报的思路包括引入可信上下文（如已验证的仓库所有权、组织级API凭证）、提供申诉与人工复核通道，以及为安全研究和修复场景开放受限的白名单模式。
50%待验证过度保守的安全过滤器可能误伤合法、无害甚至属于公共知识的内容
50%