第九步 循环神经网络

摘要

循环神经网络实际上前馈全连接神经网络的一种扩展，如果你已经掌握了全连接神经网络中的算法、公式推导等知识，那么学习循环神经网络会很容易。这也是为什么本书花了很多篇幅在全连接神经网络上打基础的原因。如果说全连接网络是学习静态数据的非线性特征的，那么循环神经网络就是学习动态序列数据的非线性特征的。

在普通循环神经网络部分，我们将先介绍只有两个时间步的网络，然后扩展到四个时间步，通过软件工程的抽象，进一步扩展到通用的网络模型。然后介绍不定长时序循环神经网络、深度循环神经网络、双向循环神经网络。通过这一部分的学习，使读者对于循环神经网络的基本原理有透彻的理解。

在高级循环神经网络部分，将介绍LSTM、GRU、序列到序列的模型的原理，为以后学习自然语言处理（Natural Language Processing，NLP）打下坚实的基础。