梯度下降是为高维空间设计的局部方法，利用一阶导数信息在巨大参数空间里高效下降，但无法保证全局最优，也需要保存中间激活和优化器状态。