共 2 篇相关文章
一项系统性研究通过密集超参数网格实验揭示DPO超参数景观：最优学习率随模型规模变化，超参数无法跨数据集迁移，验证损失与下游基准最优解仅弱相关，短候选训练可显著降低调参成本。
DP-μP 框架解决 μP 在差分隐私下超参数迁移失效的问题，通过 SNR 条件和谱缩放给出 DP-SGD、DP-Adam、DP-Muon 的学习率缩放规则，实现跨模型宽度的零样本迁移。
