对齐训练会在模型内部形成'拒绝倾向'，这种倾向并非通过外部提示词实现，而是被编码进模型权重之中，因此被称为'内部约束'。