神经网络与深度学习第四章前馈神经网络习题解答
[习题4-1] 对于一个神经元 ，并使用梯度下降优化参数
时，如果输入
恒大于0，其收敛速度会比零均值化的输入更慢。
首先看一下CSDN的解释：
如果输入x恒大于0，使用sigmoid作为激活函数的神经元的输出值将会处于饱和状态，导致其梯度接近于0，这会使得梯度下降算法的收敛速度变慢。而如果输入经过零均值化处理，可以使得输出值的均值为0，避免了sigmoid函数的非0均值问题，从而减少了梯度消失的风险，提高了梯度下降算法的收敛速度。因此，使用零均值化的输入可以加速神经网络的训练过程。
结合图1理解一下：
图1
说一下我的理解：
首先，神经元对求导后的结果为
，此处
作sigmod激活函数，我们知道sigmod的激活函数图如下：
可以看出，如果是恒大于0的，其次，若x恒大于0,会导致
进入神经元后，经过
的输出值接近饱和状态（在0.5-1范围内），而
的最大
为0.5，说明当x大于0的时候，
肯定不是沿着最大的负梯度方向进行下降的，而是以曲折抖动的方式进行下降（结合图1），但是以零均值化的方式，可以最大程度的保证数据沿着最大的负梯度方向进行下降，所以当
恒大于0时，收敛速度要慢于零均值化的输入。
再举个形象的例子，比如你要从山顶走到山谷，你直线走下去即为最大负梯度方向，收敛快，但是你要很贪心的曲折的走，虽然在朝着山谷的方向走，但不是最快的方向，你同样可以到达终点，但是你的速度相较于直线走肯定是要慢的，条条大路通罗马，但是不可能全部人都走最快的大路，也有人走蜿蜒曲折的小路。