机器学习—更复杂的神经网络
这个神经网络有四层,不计算输入层也叫零层,其中第一层,第二层和第三层是隐藏的,第4层是输出层,第0层通常是输入层,当我们说神经网络有四层包括所有隐藏层和输出层,但是我们不计算输入层,所以这是一个有四层的神经网络。
在网络中计算层的传统方法中,让我们放大到第三层,这是第三个也是最后一个隐藏层,查看该层的计算,第三层输入一个矢量a上标[2],这是由上一层计算的,它输出一个a[3],这是另一个向量,如果它有三个神经元,或者我们称之为三个隐藏单元,然后它有参数W1、B1,W2、B2,W3、B3,它计算出a1,a2,a3,这一层的输出包括[a1,a2,a3],按惯例,如果我们想更明确地表示所有这些都是与第三层相关的量,然后把所有这些上标方括号[3]写到a上,W和B是第三层神经元相关的参数,这些激活是第三层的激活。注意,这里的项是W1上标[3],表示第三层点积相关的参数,第二层的输出变成了第三层的输入,因为是一个与第三层点积相关的参数,有一个2是因为它是第二层的输出。
让我们快速检查一下对此的理解,把它们隐藏起来,看能不能快速做出判断.
总结一下,第二层神经元的激活与第三层神经元有关,因此有一个2,有一个参数与第二层神经元的第三层相关联,下边是这个方程更一般的形式。所以这个式子给这层L单位j的激活,方括号中的上标l表示第l层,下标j表示单位就,在构建神经网络时,单位j指的是j神经元,所以我们可以互换使用这些术语,其中每个单元都是一个神经元,在G层中,这里是Z状结肠函数,在神经网络背景下,G有另一个名字,它也被称为激活函数,因为g输出这个激活值,所以激活功能就指的是这个函数g,到目前为止,你所看到的唯一具有激活功能的是Z状结肠功能,激活函数就是输出这些激活值的函数,最后一个符号,为了使所有这些符号一致,给输入向量X取另一个名字是零,所以这样同样的方程也适用于第一层,当l=1时,第一层是1的激活将是Z状结肠倍权重点积为零,也就是输入特征向量X,所以用这个符号,就可以知道如何计算任何层的激活值,在神经网络中作为参数的函数以及前一层的激活.