跳转至

第15章 网络优化⚓︎

随着网络的加深,训练变得越来越困难,时间越来越长,原因可能是:

  • 参数多
  • 数据量大
  • 梯度消失
  • 损失函数坡度平缓

为了解决上面这些问题,科学家们在深入研究网络表现的前提下,发现在下面这些方向上经过一些努力,可以给深度网络的训练带来或多或少的改善:

  • 权重矩阵初始化
  • 批量归一化
  • 梯度下降优化算法
  • 自适应学习率算法

当然还有更多的方法,在本书中并不能一一列举,所以只给出一些常见的方法的原理解释,供大家参考。