深度学习最终目的表现为解决分类或回归问题。在现实应用中,输出层我们大多采用softmax或sigmoid函数来输出分类概率值,其中二元分类可以应用sigmoid函数。
而在多元分类的问题中,我们默认采用softmax函数,具体表现为将多个神经元的输出,映射到0 ~ 1的区间中,按概率高低进行分类,各概率之和为1。
某分类的概率数学表达式为:yi = ei / ∑j=1ej
具体来说,假设有四个输出单元,分别为:
- y1 = ex1 / (ex1 + ex2 + ex3 + ex4 ),假设其概率为0.4
- y2 = ex2/ (ex1 + ex2 + ex3 + ex4 ),假设其概率为0.15
- y3 = ex3/ (ex1 + ex2 + ex3 + ex4 ),假设其概率为0.15
- y4= ex4/ (ex1 + ex2 + ex3 + ex4 ), 假设其概率为0.3
可以看出 y1 + y2 + y3 + y4 = 1。并且其中某神经元的输出若增加,则其他神经元的输出则减少,反之也成立。
最后再看看softmax函数如何求导,令y = exi / ∑exk ,分两种情况:
1. i为softmax值,我们对exi 求导,
与此相关的基础求导公式:(u/v)' = (u' v - uv') / v2 和 (ex)' = ex ,并应用链式法则可得求导过程:
dy/dexi = ( exi / ∑exk)'
= (exi * ∑exk - exi * exi ) / (∑exk)2
= exi / ∑exk - (exi / ∑exk ) * (exi / ∑exk )
= yxi - yxi2
2. i不为softmax值,我们依然对exi 求导,其过程为:
dy/dexi = ( exj / ∑exk)' 注:i ≠ j
= (0 * ∑exk - exj * exi) / (∑exk)2
= -1 * (exi / ∑exk ) * (exj / ∑exk)
= - yxi * yxj