#语言模型后训练

DPO超参数景观：规模如何改变最优解，为何不能跨数据集迁移

一项系统性研究通过密集超参数网格实验揭示DPO超参数景观：最优学习率随模型规模变化，超参数无法跨数据集迁移，验证损失与下游基准最优解仅弱相关，短候选训练可显著降低调参成本。