2022年底ChatGPT发布半个月后，Anthropic发表论文提出宪法AI（Constitutional AI），即先用一套行为原则让模型自我评判修改，再用自我生成的偏好数据训练奖励模型。