宪法AI
Anthropic开发的AI训练方法，通过让模型依据一套宪法原则进行自我批判和修正，使AI行为更符合人类价值观，是Anthropic的核心技术差异化优势
核心事实
时间轴 (近 90 天)
对齐（Alignment）是指通过 RLHF、DPO、宪法 AI 等技术，让模型输出符合人类价值观、安全规范与使用政策的过程；商业云端模型几乎都经过严格对齐。
安全对齐是指通过训练和干预手段，使AI模型的行为符合人类价值观与安全规范的一系列技术方案，包括基于人类反馈的强化学习（RLHF）、宪法AI、红队测试等。
评估代理、红队测试、宪法AI等手段降低的是对抗情境被发现的概率，而非消除这类情境的存在性。
常规对齐（prosaic alignment）指用现有机器学习技术如RLHF、监督微调、宪法AI等解决当前模型的对齐问题，而无需等待全新的对齐理论突破
安全对齐是指通过训练手段使模型在面对有害请求时拒绝配合的能力，常见技术包括RLHF和宪法AI
安全对齐（Safety Alignment）是指通过RLHF、监督微调等技术手段引导模型输出符合人类价值观内容并拒绝有害请求的训练过程
宪法AI通过明确的原则体系约束模型行为，而非单纯依赖人类反馈微调
模型对齐（alignment）指的是让模型的行为与人类意图和价值保持一致
Anthropic提出了宪法AI理念，Google DeepMind的安全团队持续扩张
AI对齐研究存在工程派与理论派分歧，工程派主张实验迭代（如Anthropic的宪法AI），理论派主张先数学定义对齐（如MIRI的嵌入式代理研究）
还有 6 条时间轴事件
全部知识事实 (20)
Anthropic提出了Constitutional AI（宪法AI）方法论，让模型根据预设原则自我批评和修正输出
90%已验证Anthropic提出了宪法AI（Constitutional AI）和可解释性研究等安全框架
90%已验证模型对齐（alignment）指的是让模型的行为与人类意图和价值保持一致
75%已验证主流的对齐技术路线包括基于人类反馈的强化学习（RLHF）、宪法AI（Constitutional AI）和可扩展监督（Scalable Oversight）
75%已验证宪法AI通过两个阶段完成训练：第一阶段让模型根据宪法原则对自身输出进行批判和修订，第二阶段利用AI反馈替代部分人工标注来训练偏好模型
75%已验证Anthropic的旗舰产品Claude系列大语言模型以「宪法AI」训练方法著称
70%已验证安全对齐是指通过训练手段使模型在面对有害请求时拒绝配合的能力，常见技术包括RLHF和宪法AI
65%已验证安全对齐（Safety Alignment）是指通过RLHF、监督微调等技术手段引导模型输出符合人类价值观内容并拒绝有害请求的训练过程
65%已验证宪法AI相比传统RLHF减少了对人类标注员的依赖，并使AI行为准则可解释、可审计
65%已验证对齐研究存在多条技术路线，包括基于RLHF的行为对齐、可解释性研究、宪法AI（Constitutional AI）和可扩展监督（Scalable Oversight）
65%已验证Constitutional AI（CAI）是Anthropic于2022年发布研究论文时提出的对齐方法，核心思想是用一套书面原则替代大量人工标注的偏好反馈
65%已验证安全对齐的核心方法是基于人类反馈的强化学习（RLHF）和宪法AI（Constitutional AI）
65%待验证Anthropic以「宪法AI」安全训练方法著称
90%待验证Claude由Anthropic基于'宪法AI'方法训练，在理解长文本和复杂指令时更为稳健
85%待验证当前对齐研究的主要技术路线包括可解释性研究、RLHF和Anthropic提出的宪法AI
60%待验证对齐（Alignment）是指通过 RLHF、DPO、宪法 AI 等技术，让模型输出符合人类价值观、安全规范与使用政策的过程；商业云端模型几乎都经过严格对齐。
50%待验证安全对齐是指通过训练和干预手段，使AI模型的行为符合人类价值观与安全规范的一系列技术方案，包括基于人类反馈的强化学习（RLHF）、宪法AI、红队测试等。
50%待验证评估代理、红队测试、宪法AI等手段降低的是对抗情境被发现的概率，而非消除这类情境的存在性。
50%待验证常规对齐（prosaic alignment）指用现有机器学习技术如RLHF、监督微调、宪法AI等解决当前模型的对齐问题，而无需等待全新的对齐理论突破
50%待验证宪法AI通过明确的原则体系约束模型行为，而非单纯依赖人类反馈微调
50%