跳转至

15.1 权重矩阵初始化

15.1 权重矩阵初始化⚓︎

以下为本小节目录，详情请参阅《智能之门》正版图书，高等教育出版社。

15.1.1 零初始化⚓︎

15.1.2 标准初始化⚓︎

15.1.3 Xavier初始化方法⚓︎

15.1.4 MSRA初始化方法⚓︎

15.1.5 小结⚓︎

代码位置⚓︎

ch15, Level1

思考与练习⚓︎

  1. 多层时，不能用零初始化。但是如果权重矩阵的所有值都初始化为0.1，是否可以呢？
  2. 用14.6中的例子比较Xavier和MSRA初始化的训练效果。

参考资料⚓︎

[1] Understanding the difficulty of training deep feedforward neural networks. link: http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf

by Xavier Glorot, Yoshua Bengio in AISTATS 2010.

这是中译版，感谢译者。

[2] 何凯明，Microsoft Research Asia，2015。https://arxiv.org/pdf/1502.01852.pdf