[控场AI]
概念gradient checking / 数值梯度检验

梯度检查

用数值微分近似解析梯度并与反向传播结果比较以验证实现正确性的调试技术,通常要求相对误差小于1e-7

时间轴 (近 90 天)

11月6日

梯度检查(gradient checking)是用数值微分近似解析梯度并与反向传播结果比较相对误差的方法,通常要求相对误差小于10^-7。

待验证50%
11月6日

实践中建议在极小的网络和少量样本上先做梯度检查,确认无误后再扩展到完整模型。

待验证50%

全部知识事实 (2)

来源文章