神经网络常见激活函数-sigmoid函数

sigmoid

1 函数+求导

• sigmoid函数
  $$\sigma (x)=\frac{1}{1+e^{(-x)}}$$

• sigmoid函数求导
  $$\begin{array}{rl}\frac{d}{dx}\sigma (x)& =\frac{d}{dx}\left(\frac{1}{1+e^{-x}}\right)\\ & =\frac{e^{-x}}{(1+e^{-x}{)}^2}\\ & =\frac{(1+e^{-x})-1}{(1+e^{-x}{)}^2}\\ & =\frac{1}{1+e^{-x}}-\frac{1}{(1+e^{-x}{)}^2}\\ & =\sigma (x)-\sigma (x{)}^2\\ & =\sigma (x)(1-\sigma (x))\end{array}$$
  在神经网络的梯度计算中，通过缓存每层的 Sigmoid 函数输出值，即可在需 要的时候计算出其导数.

2 函数和导函数图像

• 画图

  import pandas as pd
  import numpy as np
  from matplotlib import pyplot as plt
  
  def sigmoid(x):
      return 1/(1+np.exp(-x))
  
  x = np.linspace(-4,4,1000)
  y = [sigmoid(i) for i in x]
  y1 = [sigmoid(i)*(1-sigmoid(i)) for i in x]
  y2  = [1 for i in x]
  
  ax = plt.gca()
  plt.plot(x,y,label='Sigmoid')
  plt.plot(x,y1,label='Derivative')
  plt.plot(x,y2,color='black',linestyle='--')
  
  
  #设置上边和右边无边框
  ax.spines['right'].set_color('none')
  ax.spines['top'].set_color('none')
  #设置x坐标刻度数字或名称的位置
  ax.xaxis.set_ticks_position('bottom')
  #设置边框位置
  ax.spines['bottom'].set_position(('data', 0))
  ax.yaxis.set_ticks_position('left')
  ax.spines['left'].set_position(('data',0))
  
  plt.legend(loc = 6)
  
  

  

3 优缺点

• sigmoid 函数优点：

  1. 值域为 $[0,1]$，适合输出概率值：sigmoid 函数的值域为 $(0,1)$，非常适合作为模型的输出函数，用于输出 $(0,1)$ 范围内的概率值。它可以用于将预测概率作为输出的模型（如风控中的评分卡、逻辑回归等），例如表示二分类的类别概率或置信度。

  2. 输出值限定在 0 到 1，对神经元输出进行归一化：

     由于 sigmoid 函数的输出范围是 $(0,1)$，它对每个神经元的输出进行了“软”归一化，将任意实数输入压缩到 $(0,1)$ 之间。（这里注意sigmoid和softmax的区别，经过sigmoid的所有输出加起来不等于1）

  3. 连续可导，提供平滑的梯度值：sigmoid 函数是连续可导的（即可微），能够提供非常平滑的梯度值，防止模型训练过程中出现突变的梯度（即避免“跳跃”的输出值）。

• sigmoid 函数缺点：

  1. 梯度消失问题：从 sigmoid 函数的导数图像可以看出，其导数的最大值只有 0.25。当输入 $x$ 在 $[-5,5]$ 的范围之外时，导数值几乎接近于 0。这种情况会导致训练过程中神经元处于饱和状态（即导数趋于 0），反向传播时权重几乎得不到更新，从而使得模型难以训练，这种现象被称为梯度消失问题。
  2. 输出不以 0 为中心：sigmoid 函数的输出总是大于 0（即不以 0 为中心），这会降低权重更新的效率。下一层神经元会接收到上一层输出的全正信号作为输入，导致权重更新时出现“zig-zag”现象。因此，sigmoid 激活函数通常不适合放在神经网络的隐藏层，而一般用于最后的输出层。
  3. 计算量大及计算复杂度高：sigmoid 函数需要进行指数运算，计算量较大且计算复杂度高，训练耗时。此外，随着输入值的增大，sigmoid 函数的导数会迅速减小，容易产生梯度消失问题。

• 补充说明：

  1. 梯度消失问题：sigmoid 函数在深层神经网络中容易导致梯度消失问题，但在浅层网络或输出层中使用时，这个问题的影响相对较小。因此，sigmoid 函数通常用于输出层，而不是隐藏层。**
  2. 替代方案：在现代深度学习中，ReLU（Rectified Linear Unit）及其变体（如 Leaky ReLU、ELU 等）通常被用作隐藏层的激活函数，因为它们能够有效缓解梯度消失问题，并且计算速度更快。
  3. zig-zag 现象：具体来说，当激活函数的输出不以 0 为中心（如 sigmoid 函数的输出总是大于 0），会导致反向传播时梯度的更新方向不一致，从而使得权重在优化过程中沿着“锯齿形”路径缓慢收敛。

4 pytorch 中的sigmoid函数

• 代码

  import torch
  
  f = torch.nn.Sigmoid()
  x = torch.randn(2)
  
  sigmoid_x = f(x)
  print(f"x: \n{x}")
  print(f"sigmoid_x:\n{sigmoid_x}")
  
  """输出"""
  x: 
  tensor([ 0.0259, -2.4006])
  sigmoid_x:
  tensor([0.5065, 0.0831])
  

  ---

5 tensorflow中的sigmoid函数

• 代码

  python: 3.10.9

  tensorflow: 2.18.0

  import tensorflow as tf
  
  f = tf.nn.sigmoid
  x = tf.random.normal([2])
  
  
  sigmoid_x = f(x)
  print(f"x: \n{x}")
  print(f"sigmoid_x:\n{sigmoid_x}")
  
  """输出"""
  x:
  [-1.2805938 -1.4400458]
  sigmoid_x:
  [0.21744916 0.19153824]