大模型安全对齐一般经过监督微调、基于人类反馈的强化学习以及独立的安全分类器层。