Constitutional AI
Constitutional AI（宪法AI）是由Anthropic提出的一种AI对齐训练方法，旨在使语言模型的行为符合一组预先设定的明确原则（称为"宪法"）。其核心机制包括两个阶段：先让模型依据宪法原则对自身输出进行批评与修订（监督学习阶段），再通过AI生成的偏好数据进行强化学习，从而在减少对大规模人工标注依赖的同时，提升模型的安全性与可解释性。
Core Facts
Timeline (last 90 days)
Anthropic的核心研究方向是可解释性与宪法AI
宪法AI通过明确的原则体系约束模型行为，而非单纯依赖人类反馈微调
宪法式AI的优势在于原则可被外界审阅和讨论、透明度更高，局限在于原则的措辞与选择仍取决于制定者的价值判断
宪法式AI流程分两步：先让模型根据宪法条文自我批评并修改有害回答（监督学习阶段），再基于修改结果进行强化学习（RLAIF，即AI反馈强化学习）
当前主流的对齐技术包括基于人类反馈的强化学习（RLHF）和宪法AI（Constitutional AI）
Anthropic发表过《Constitutional AI》技术论文
Claude系列模型采用了「Constitutional AI」（宪法AI）训练方法，通过预定义原则引导模型行为，而非仅依赖RLHF
Constitutional AI 训练分为两个阶段：第一阶段模型根据宪法原则对自身输出进行批评和修正，第二阶段利用修正后的数据进行 RLHF 训练
Anthropic在推进Constitutional AI时引入了自动化红队测试的方法论，但仍依赖预先定义的原则清单
RLHF面临奖励模型被游戏化（reward hacking）、人类偏好标注不一致、以及训练过程不稳定等挑战，这也是Anthropic提出Constitutional AI作为补充方案的动因之一
33 more timeline events
All Facts (20)
Anthropic提出了Constitutional AI（宪法AI）方法论，让模型根据预设原则自我批评和修正输出
90%VerifiedAnthropic提出了宪法AI（Constitutional AI）和可解释性研究等安全框架
90%VerifiedAnthropic在Claude训练过程中引入了宪法AI（Constitutional AI）方法
90%VerifiedAnthropic 由前 OpenAI 核心成员创立，专注于 AI 安全研究
90%Verified当前主流AI模型的内容安全控制主要依赖RLHF（基于人类反馈的强化学习）技术
75%Verified宪法AI通过两个阶段完成训练：第一阶段让模型根据宪法原则对自身输出进行批判和修订，第二阶段利用AI反馈替代部分人工标注来训练偏好模型
75%Verified宪法AI（Constitutional AI）通过预设价值原则让模型在自我批评与迭代修正中内化规范，无需大规模人工标注偏好数据，区别于RLHF
70%VerifiedAnthropic的旗舰产品Claude系列大语言模型以「宪法AI」训练方法著称
70%VerifiedClaude是Anthropic开发的AI助手
65%Verified现代LLM通过指令微调（Instruction Tuning）和基于人类反馈的强化学习（RLHF）获得了规划、推理和工具使用能力
65%VerifiedClaude由前OpenAI研究员创办的Anthropic公司开发，核心技术特色是Constitutional AI（宪法AI）
65%UnverifiedSafety alignment in LLM training is typically achieved through methods like RLHF (Reinforcement Learning from Human Feedback) and Constitutional AI
90%UnverifiedConstitutional AI通过减少对大规模人工标注的依赖来训练AI系统
90%Partially VerifiedClaude使用Constitutional AI进行对齐训练，而Codex系列更多依赖RLHF（基于人类反馈的强化学习）
80%UnverifiedAnthropic采用Constitutional AI框架，在RLHF对齐时特别注重模型输出的细微差别和情感层次感
75%UnverifiedConstitutional AI由Anthropic于2022年正式提出，是其核心安全对齐技术
60%UnverifiedConstitutional AI和可调节安全级别是新一代对齐技术的研究方向
60%UnverifiedAnthropic的核心研究方向是可解释性与宪法AI
50%Unverified宪法AI通过明确的原则体系约束模型行为，而非单纯依赖人类反馈微调
50%Unverified宪法式AI流程分两步：先让模型根据宪法条文自我批评并修改有害回答（监督学习阶段），再基于修改结果进行强化学习（RLAIF，即AI反馈强化学习）
50%