概念Differentially Private Muon
DP-Muon
差分隐私版的 Muon 优化器,基于矩阵正交化更新,并加入隐私保护机制。
时间轴 (近 90 天)
10月19日
DP-μP 覆盖的优化器包括 DP-SGD、DP-Adam 和 DP-Muon。
待验证50%
10月19日
DP-Adam 是将 DP-SGD 的裁剪加噪步骤嵌入 Adam 优化器的动量估计中的隐私版本;DP-Muon 是针对矩阵参数使用 Muon 优化器(基于矩阵正交化更新)的隐私版本。
待验证50%
差分隐私版的 Muon 优化器,基于矩阵正交化更新,并加入隐私保护机制。
DP-μP 覆盖的优化器包括 DP-SGD、DP-Adam 和 DP-Muon。
DP-Adam 是将 DP-SGD 的裁剪加噪步骤嵌入 Adam 优化器的动量估计中的隐私版本;DP-Muon 是针对矩阵参数使用 Muon 优化器(基于矩阵正交化更新)的隐私版本。