深度学习基础—Softmax回归

        通常对于二分类问题，大家熟知的模型就是logistic回归。那么对于多分类问题呢？如果要多分类，我们可以在网络的最后一层建立多个神经元，每个神经元对应一个分类的输出，输出的是某一个分类的概率，这些概率之和为1。要想做到上述分析，就需要由Softmax激活函数组成的Softmax回归模型来解决。

1.Softmax激活函数

        其中，xi是输入，n是输入向量的维度。这个函数的结果分布概率之和是1。通常运用在模型的最后一层，即输出层。和分类交叉熵损失函数结合到一起就是Softmax回归。

2.分类交叉熵损失函数

        这个损失函数和Softmax激活函数搭配很好的原因有如下几点考虑：第一点是激活函数是指数函数ex的组合，损失函数对输出取log()对数，两者互为反函数，因此可以简化运算。第二点是即使输入Softmax激活函数的是负数，该激活函数也能将输出转化(0,1)区间，然后计算该损失函数，log()函数在(0,1)区间内是负数，和损失函数前面的负号抵消，因此有利于数值稳定。

3.Softmax回归

        如下是假如我们要训练的网络：

        我们需要进行4分类问题，因此网络最后一层是4个神经元，在其它层选择和往常一样线性组合和激活函数操作，在最后一层L层，选择Softmax激活函数，则最后一层的计算如下：

        最终，a[L]向量即为网络的输出，它是4*1的向量。注意，如果要分类的类别是2，则Softmax回归退化成logistic回归。

        假设一个样本的标签是：

        而网络的输出是：

        可以看出，样本是类别2，但是类别2的输出概率为0.2，这样的输出效果很差。经过损失函数的计算得到如下：

        为了使损失降低，就需要提高类别2的输出概率，因此可以看出来选择分类交叉熵损失函数可以起到多分类降低损失的效果。

        在使用梯度下降法时，需要求损失函数关于z的偏导，于是下面给出推导过程（并不规范）：

        情况一：当i=j时，此时说明yi=1，则：

        情况二：当i!=j时，yi=0，则：

        因此，这个关键的梯度公式：

        有了这个梯度公式，就可以依次计算各层的导数了，进而实现梯度下降法进行优化。