1.Sigmoid函数：
定义：
Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的**函数，将变量映射到0,1之间，一般用来做二分类。
公式：
图像：
特点：
当x趋近于负无穷时，y趋近于0；当x趋近于正无穷时，y趋近于1；当x= 0时，y=0.5。
优点：
sigmoid函数的输出映射在（0，1）之间，单调连续，输出范围有限，优化稳定，可以用作输出层。
缺点：
1.由于其饱和性，容易出现梯度消失，导致训练出现问题。
2.sigmoid的输出不是0均值，这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入，产生一个结果就是，如果数据进入神经元的时候是正的，那么计算出的梯度页会始终都湿正的，不利于下一层的计算。
2.Softmax函数：
定义：
softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维的向量z的“压缩”到另一个K维实向量σ(z) 中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，一般用于多分类。
公式：
执行图：
注意：0.88+0.12+0=0
特点：
强化大的值，减弱小的值。