机器学习常见激活函数
Sigmoid 函数
常用于二分类问题
优点：
函数的值域在(0,1)之间，可将任意实数映射到0到1的区间，常被用于将输出解释为概率。
将很大范围内的输入特征值压缩到0~1之间，使得在深层网络中可以保持数据幅度不会出现较大的变化，而Relu函数则不会对数据的幅度作出约束；
缺点：
当输入非常大或非常小的时候，输出基本为常数，即变化非常小，进而导致梯度接近于0；
梯度可能会过早消失，进而导致收敛速度较慢，例如与Tanh函数相比，其就比sigmoid函数收敛更快，是因为其梯度消失问题较sigmoid函数要轻一些；
softmax
Softmax一般用来作为神经网络的最后一层，用于多分类问题的输出。其本质是一种激活函数，将一个数值向量归一化为一个概率分布向量，且各个概率之和为1。
Tanh
