《机器学习by周志华》学习笔记-神经网络-03全局最小误差与局部极小误差
1、神经网络中误差的概念及公式
根据上文《逆误差传播算法》我们可以知道误差公式的演化:
① 第k个训练样例的误差函数:
②该训练集的累积误差函数:
③正则化误差目标函数:
其中:
- :表示第k个训练样例的误差;
- :表示连接权重和阈值任意参数;
- 根据上文我们可知需要确定的参数个数有:;
- :表示所有连接权重与阈值参数的平方和;</
根据上文《逆误差传播算法》我们可以知道误差公式的演化:
① 第k个训练样例的误差函数:
②该训练集的累积误差函数:
③正则化误差目标函数:
其中: