[控场AI]
概念Shampoo

Shampoo优化器

一种针对参数张量各维度分别维护二阶统计量的高阶优化算法,避免完整Hessian矩阵计算,在大批量训练中以相同计算预算实现更少迭代步数

来源文章