深度学习剖根问底:Logistic回归和Softmax回归

时间:2024-04-10 21:46:30

1. 简介

逻辑回归和Softmax回归是两个基础的分类模型,虽然听名字以为是回归模型,但实际我觉得他们也有一定的关系。逻辑回归,Softmax回归以及线性回归都是基于线性模型,它们固定的非线性的基函数(basis function)深度学习剖根问底:Logistic回归和Softmax回归 的线性组合,形式如下:

深度学习剖根问底:Logistic回归和Softmax回归2.逻辑回归谈谈逻辑回归,Softmax回归,前者主要处理二分类问题,而后者处理多分类问题,但事实上Softmax回归就是逻辑回归的一般形式。
 
其中,如果f(.)是非线性的**函数(activation function),这就是一个分类模型;如果f(.)是恒等函数(identity),则是回归模型,现在可以发现它们三者的联系了吧。

下面主要谈谈逻辑回归,Softmax回归,前者主要处理二分类问题,而后者处理多分类问题,但事实上Softmax回归就是逻辑回归的一般形式。


2. 逻辑回归

定义逻辑回归hypothesis为

深度学习剖根问底:Logistic回归和Softmax回归

其中,深度学习剖根问底:Logistic回归和Softmax回归为sigmoid函数,其性质可参考神经网络博文

深度学习剖根问底:Logistic回归和Softmax回归

逻辑回归的理**函数是sigmoid函数,可理解成一个被sigmoid函数归一化后的线性回归。因为sigmoid函数把实数映射到了[0,1]区间,可以认为深度学习剖根问底:Logistic回归和Softmax回归为x属于类别1的概率,反正1-深度学习剖根问底:Logistic回归和Softmax回归为x属于类别1的概率。给定有一个训练数据,构造它的似然函数(likelihood function)为:

深度学习剖根问底:Logistic回归和Softmax回归

这里的y_n就是上面的 (由于参考了多本书,所以符号有一定的区别),一般会使用最大释然求解参数,这时取一个负的log对数(negative logarithm),得到:

深度学习剖根问底:Logistic回归和Softmax回归

上式被称为交叉熵(cross entropy) loss函数,因为取了一个负对数,之前的最大化就变成了最小化,所以只需求解是交叉熵loss函数最小的参数。

 

对loss函数求导得到:

深度学习剖根问底:Logistic回归和Softmax回归

 

到现在为止,我们已经得到了loss函数以及关于参数的偏导数,只需要通过梯度下降就可以得到参数的解,OK,大功告成。

 

如果需要预测一个为止数据x,属于那个类,只需要带入 深度学习剖根问底:Logistic回归和Softmax回归。最简单的决策方法,如果深度学习剖根问底:Logistic回归和Softmax回归 大于等于0.5属于类别1,反之属于类别0,当然也可以属于其他的决策方法。


3. Softmax回归

Softmax回归处理多分类问题,我们假设函数深度学习剖根问底:Logistic回归和Softmax回归 形式如下:
 深度学习剖根问底:Logistic回归和Softmax回归


和逻辑回归一样,得到loss函数为:

深度学习剖根问底:Logistic回归和Softmax回归
 
其中的1{.}是一个指示性函数,即当大括号中的值为真时,该函数的结果就为1,否则其结果就为0。


然后计算损失函数的偏导函数,得到:

深度学习剖根问底:Logistic回归和Softmax回归
 
之后就可以用如果要用梯度下降法,或者L-BFGS法求得未知参数。


 深度学习剖根问底:Logistic回归和Softmax回归
看上面的推到我们可以发现,对每一个参数减去一个参数,最后的结果没有影响。其实softmax 回归中对参数的最优化解不只一个,每当求得一个优化参数时,如果将这个参数的每一项都减掉同一个数,其得到的损失函数值也是一样的,这说明解不是唯一的。


之所以会出现这样的现象,因为损失函数不是严格非凸的,也就是说在局部最小值点附近是一个”平坦”的,所以在这个参数附近的值都是一样的了。
为避免出现这样的情况,加入正则项(比如说,用牛顿法求解时,hession矩阵如果没有加入规则项,就有可能不是可逆的从而导致了刚才的情况,如果加入了规则项后该hession矩阵就不会不可逆了),加入正则项后的loss函数表达式为:
 深度学习剖根问底:Logistic回归和Softmax回归
此时loss函数的偏导函数为:
 深度学习剖根问底:Logistic回归和Softmax回归

同样的,我们在逻辑回归中,也可以加上正则项。


4. 逻辑回归与Softmax回归的联系

我们在刚开始的时候说softmax 回归是逻辑回归的一般形式,现在我们看看两者之间的联系。当类别数k = 2 时,softmax 回归退化为逻辑回归,softmax 回归的假设函数为:
 深度学习剖根问底:Logistic回归和Softmax回归
利用softmax回归参数冗余的特点,我们令深度学习剖根问底:Logistic回归和Softmax回归 ,并且从两个参数向量中都减去向量深度学习剖根问底:Logistic回归和Softmax回归,得到:

深度学习剖根问底:Logistic回归和Softmax回归
 
因此,用深度学习剖根问底:Logistic回归和Softmax回归来表示深度学习剖根问底:Logistic回归和Softmax回归,我们就会发现 softmax 回归器预测其中一个类别的概率为深度学习剖根问底:Logistic回归和Softmax回归,另一个类别概率的为深度学习剖根问底:Logistic回归和Softmax回归,这与 逻辑回归是一致的。


5. 与神经网络的关系


神经网络是一个多层次的分类模型,其实logistic回归和softmax回归可以看出最简单的神经网络,结构如下图所示:

深度学习剖根问底:Logistic回归和Softmax回归深度学习剖根问底:Logistic回归和Softmax回归
  
一般的神经网络有输入层,隐含层以及输出层构成,而上图中只有输入层和输出层,而没有隐含层。神经网络处理二分类时,输出层为一个节点,但处理K(K>2)分类问题时,数据节点为K个,这个logistic回归和softmax回归保持一致。值得注意的,在神经网络中的最后一层隐含层和输出层就可以看成是logistic回归或softmax回归模型,之前的层只是从原始输入数据从学习特征,然后把学习得到的特征交给logistic回归或softmax回归处理。
因此,可以把处理分类问题的神经网络分成两部分,特征学习和logistic回归或softmax回归。