安全对齐
通过训练和干预手段使AI模型行为符合人类价值观与安全规范的技术方案，包括RLHF、宪法AI、红队测试等
核心事实
时间轴 (近 90 天)
大模型的安全对齐在单轮对话中表现可靠，但同样的有害请求拆散到多轮对话里成功率会明显上升。
ShallowDefend 提示了一种思路转变：与其在回复层面做复杂过滤和改写，不如在模型生成的最前端植入可验证、可训练的显式决策。
现有安全对齐的脆弱性源于模型的安全行为高度集中在生成回复的最初几个 token 上。
落地层面的三个坑：安全对齐可能误判合法需求、纯提示词无法工程化（面向大规模用户需提示词+代码结合）、token成本非线性增长。
安全对齐的核心局限在于：对齐训练依赖对「有害意图」的分类判断，而医疗、法律等专业场景中的风险往往隐藏在语义无害的表述里；模型学到的是「什么样的提问像有害请求」，而非「什么样的回答会造成真实伤害」。
安全对齐并非绝对可靠，模型可能因分布外输入、多语言迁移或提示词构造而失效。
越狱提示词是一类经过特殊设计的输入文本，目标是诱导大型语言模型绕开安全对齐机制，输出本应被限制的回复。
安全对齐并非一次性完成且不可逆的性质，微调、提示注入或对抗性输入都可能削弱或绕过这层约束。
系统提示与安全对齐的约束是概率性的，并不能保证模型在每一种紧急表述下都触发就医提醒。
安全对齐不能只训练模型“拒绝危险请求”，还要训练它“识别自己不知道什么”。
还有 30 条时间轴事件
全部知识事实 (20)
模型层面的安全对齐是脆弱的，因为开源模型权重可获取、行为可修改，厂商投入的对齐努力可能在下游被简单操作抹除
70%已验证安全对齐通过 RLHF、Constitutional AI 等训练方法使大语言模型遵循人类价值观和安全准则，主流商业模型内置输入过滤层、输出监控层及权重层面的价值约束
70%已验证仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力
70%已验证安全对齐是指通过训练手段使模型在面对有害请求时拒绝配合的能力，常见技术包括RLHF和宪法AI
65%已验证安全对齐（Safety Alignment）是指通过RLHF、监督微调等技术手段引导模型输出符合人类价值观内容并拒绝有害请求的训练过程
65%已验证礼貌且详细的提问在训练数据中往往对应高质量回答，模型生成时会隐式匹配训练数据中类似语境的分布，因此语气和格式能影响输出质量
65%已验证Safety Alignment refers to the technical process of ensuring AI system behavior conforms to human intentions and values
65%已验证部分系统通过RLHF（基于人类反馈的强化学习）在训练阶段将安全偏好嵌入模型权重，使模型本身倾向于拒绝生成特定内容，而非依赖外部过滤
65%待验证OpenAI、Anthropic等主流大模型公司均将安全对齐作为产品发布前的核心环节
60%待验证现有安全对齐的脆弱性源于模型的安全行为高度集中在生成回复的最初几个 token 上。
50%待验证大模型的安全对齐在单轮对话中表现可靠，但同样的有害请求拆散到多轮对话里成功率会明显上升。
50%待验证ShallowDefend 提示了一种思路转变：与其在回复层面做复杂过滤和改写，不如在模型生成的最前端植入可验证、可训练的显式决策。
50%待验证落地层面的三个坑：安全对齐可能误判合法需求、纯提示词无法工程化（面向大规模用户需提示词+代码结合）、token成本非线性增长。
50%待验证安全对齐的核心局限在于：对齐训练依赖对「有害意图」的分类判断，而医疗、法律等专业场景中的风险往往隐藏在语义无害的表述里；模型学到的是「什么样的提问像有害请求」，而非「什么样的回答会造成真实伤害」。
50%待验证安全对齐并非绝对可靠，模型可能因分布外输入、多语言迁移或提示词构造而失效。
50%待验证越狱提示词是一类经过特殊设计的输入文本，目标是诱导大型语言模型绕开安全对齐机制，输出本应被限制的回复。
50%待验证安全对齐并非一次性完成且不可逆的性质，微调、提示注入或对抗性输入都可能削弱或绕过这层约束。
50%待验证系统提示与安全对齐的约束是概率性的，并不能保证模型在每一种紧急表述下都触发就医提醒。
50%待验证安全对齐不能只训练模型“拒绝危险请求”，还要训练它“识别自己不知道什么”。
50%待验证在情感生成和安全对齐基准上，该框架与稠密基线相比展现出显著优势，稀疏方法在相同隐私预算下能够获得更低的估计误差。
50%