当前对齐主要是在预训练损失之外增加一个偏好损失或惩罚项，模型容量的大部分仍由互联网数据塑造。