概念极小极大RR-ICM
Minimax RR-ICM
RR-ICM的极小极大变分扩展,在球面上的概率分布上取最坏情况优化,为Muon优化器的极方向提供不依赖平均曲率假设的稳健理论依据
时间轴 (近 90 天)
10月16日
研究者提出了Minimax RR-ICM,该模型在球面上的概率分布上取最坏情况优化,而非对方向做平均。
待验证50%
10月16日
Minimax RR-ICM中,每一个非零全局极小值点都位于梯度的极射线上,其尺度由一个一维凸问题确定。
待验证50%
10月16日
Minimax RR-ICM对应的容许几何是半正定迹板(positive-semidefinite trace slab),与RR-ICM的球形zonotope几何形成对比。
待验证50%