正向传播和反向传播的理解
step1初始化:定义一个基本的神经网路,如下,初始化参数,目的是求出参数W,使得在输入X,损失函数值最小。
step2正向传播:正向传播计算出中间的值,因为待会的反向传播会用到
step3 反向传播:计算目标函数对于各个参数的梯度,同时
更新参数,沿着梯度调整参数,更快收敛,但要设置好学习率,过大可能导致无法收敛,学习率设置太小,网络收敛会非常缓慢 。
step4重复:当损失函数达到我们想要的误差停止,得到的参数即为我们想要的权重,可用来预测。
step1初始化:定义一个基本的神经网路,如下,初始化参数,目的是求出参数W,使得在输入X,损失函数值最小。
step2正向传播:正向传播计算出中间的值,因为待会的反向传播会用到
step3 反向传播:计算目标函数对于各个参数的梯度,同时
更新参数,沿着梯度调整参数,更快收敛,但要设置好学习率,过大可能导致无法收敛,学习率设置太小,网络收敛会非常缓慢 。
step4重复:当损失函数达到我们想要的误差停止,得到的参数即为我们想要的权重,可用来预测。