02.2 非线性反向传播
2.2 非线性反向传播⚓︎
2.2.1 提出问题⚓︎
在上面的线性例子中,我们可以发现,误差一次性地传递给了初始值 w 和 b,即,只经过一步,直接修改 w 和 b 的值,就能做到误差校正。因为从它的计算图看,无论中间计算过程有多么复杂,它都是线性的,所以可以一次传到底。缺点是这种线性的组合最多只能解决线性问题,不能解决更复杂的问题。这个我们在神经网络基本原理中已经阐述过了,需要有激活函数连接两个线性单元。
下面我们看一个非线性的例子,如图2-8所示。
图2-8 非线性的反向传播
其中1<x<=10,0<y<2.15。假设有5个人分别代表 x,a,b,c,y:
正向过程⚓︎
- 第1个人,输入层,随机输入第一个 x 值,x 的取值范围 (1,10],假设第一个数是 2;
- 第2个人,第一层网络计算,接收第1个人传入 x 的值,计算:a=x^2;
- 第3个人,第二层网络计算,接收第2个人传入 a 的值,计算:b=\ln (a);
- 第4个人,第三层网络计算,接收第3个人传入 b 的值,计算:c=\sqrt{b};
- 第5个人,输出层,接收第4个人传入 c 的值
反向过程⚓︎
- 第5个人,计算 y 与 c 的差值:\Delta c = c - y,传回给第4个人
- 第4个人,接收第5个人传回\Delta c,计算 \Delta b = \Delta c \cdot 2\sqrt{b}
- 第3个人,接收第4个人传回\Delta b,计算 \Delta a = \Delta b \cdot a
- 第2个人,接收第3个人传回\Delta a,计算 \Delta x = \frac{\Delta}{2x}
- 第1个人,接收第2个人传回\Delta x,更新 x \leftarrow x - \Delta x,回到第1步
提出问题:假设我们想最后得到 c=2.13 的值,x 应该是多少?(误差小于 0.001 即可)
2.2.2 数学解析解⚓︎
c=\sqrt{b}=\sqrt{\ln(a)}=\sqrt{\ln(x^2)}=2.13
x = 9.6653
2.2.3 梯度迭代解⚓︎
\frac{da}{dx}=\frac{d(x^2)}{dx}=2x=\frac{\Delta a}{\Delta x} \tag{1}
\frac{db}{da} =\frac{d(\ln{a})}{da} =\frac{1}{a} = \frac{\Delta b}{\Delta a} \tag{2}
\frac{dc}{db}=\frac{d(\sqrt{b})}{db}=\frac{1}{2\sqrt{b}}=\frac{\Delta c}{\Delta b} \tag{3}
因此得到如下一组公式,可以把最后一层 \Delta c 的误差一直反向传播给最前面的 \Delta x,从而更新 x 值:
\Delta c = c - y \tag{4}
根据式3
\Delta b = \Delta c \cdot 2\sqrt{b}
根据式2
\Delta a = \Delta b \cdot a
根据式1
\Delta x = \Delta a / 2x
我们给定初始值 x=2,\Delta x=0,依次计算结果如表2-2。
表2-2 正向与反向的迭代计算
方向 | 公式 | 迭代1 | 迭代2 | 迭代3 | 迭代4 | 迭代5 |
---|---|---|---|---|---|---|
正向 | x=x-\Delta x | 2 | 4.243 | 7.344 | 9.295 | 9.665 |
正向 | a=x^2 | 4 | 18.005 | 53.934 | 86.404 | 93.233 |
正向 | b=\ln(a) | 1.386 | 2.891 | 3.988 | 4.459 | 4.535 |
正向 | c=\sqrt{b} | 1.177 | 1.700 | 1.997 | 2.112 | 2.129 |
标签值y | 2.13 | 2.13 | 2.13 | 2.13 | 2.13 | |
反向 | \Delta c = c - y | -0.953 | -0.430 | -0.133 | -0.018 | |
反向 | \Delta b = \Delta c \cdot 2\sqrt{b} | -2.243 | -1.462 | -0.531 | -0.078 | |
反向 | \Delta a = \Delta b \cdot a | -8.973 | -26.317 | -28.662 | -6.698 | |
反向 | \Delta x = \Delta a / 2x | -2.243 | -3.101 | -1.951 | -0.360 |
表2-2,先看“迭代-1”列,从上到下是一个完整的正向+反向的过程,最后一行是 -2.243,回到“迭代-2”列的第一行,2-(-2.243)=4.243,然后继续向下。到第5轮时,正向计算得到的 c=2.129,非常接近 2.13 了,迭代结束。
运行示例代码可以得到如下结果:
how to play: 1) input x, 2) calculate c, 3) input target number but not faraway from c
input x as initial number(1.2,10), you can try 1.3:
2
c=1.177410
input y as target number(0.5,2), you can try 1.8:
2.13
forward...
x=2.000000,a=4.000000,b=1.386294,c=1.177410
backward...
delta_c=-0.952590, delta_b=-2.243178, delta_a=-8.972712, delta_x=-2.243178
......
forward...
x=9.655706,a=93.232666,b=4.535098,c=2.129577
backward...
done!
为节省篇幅只列出了第一步和最后一步(第5步)的结果,第一步时c=1.177410
,最后一步时c=2.129577
,停止迭代。
代码位置⚓︎
ch02, Level2