[机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

时间:2023-12-14 18:59:14

引言

 机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等。主要学习资料来自Standford Andrew Ng老师在Coursera的教程以及UFLDL Tutorial,Stanford CS231n等在线课程和Tutorial,同一时候也參考了大量网上的相关资料(在后面列出)。

 

前言

 本文主要介绍逻辑回归的基础知识。文章小节安排例如以下:

 1)逻辑回归定义

 2)如果函数(Hypothesis function)

 3)决策边界(Decision Boundary)

 4)代价函数(Cost Function)

 5)优化方法

 

逻辑回归定义

 简单来说,

 逻辑回归(Logistic Regression)是一种用于解决二分类(0 or 1)问题的机器学习方法。用于预计某种事物的可能性。比方某用户购买某商品的可能性。某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。

 注意。这里用的是“可能性”。而非数学上的“概率”,logisitc回归的结果并不是数学定义中的概率值,不能够直接当做概率值来用。该结果往往用于和其它特征值加权求和,而非直接相乘。

 那么逻辑回归与线性回归是什么关系呢?

 逻辑回归(Logistic Regression)与线性回归(Linear Regression)都是一种广义线性模型(generalized linear model)

逻辑回归如果因变量 y 服从伯努利分布。而线性回归如果因变量 y 服从 高斯分布。

 因此与线性回归有非常多同样之处,去除Sigmoid映射函数的话。算法就是一个线性回归。能够说。逻辑回归是以线性回归为理论支持的,可是逻辑回归通过Sigmoid函数引入了非线性因素。因此能够轻松处理0/1分类问题。

 

 机器学习中的不论什么算法都有着数学基础,有着不同的前提如果和对应的约束。因此如果想要深入的掌握机器学习算法。必须要捡起数学课本,包含统计、概率、微积分等。

 

 

如果函数(Hypothesis function)

 逻辑回归的如果函数形式例如以下:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 这个函数称为Sigmoid函数,也称为逻辑函数(Logistic function)。其函数曲线例如以下:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

 从上图能够看到sigmoid函数是一个s形的曲线。它的取值在[0, 1]之间,在远离0的地方函数的值会非常快接近0/1。这个性质使我们能够以概率的方式来解释。

 一个机器学习的模型。实际上是把决策函数限定在某一组条件下,这组限定条件就决定了模型的如果空间。当然。我们还希望这组限定条件简单而合理。

而逻辑回归模型所做的如果是:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

 这里的 g(h) 是上边提到的 sigmoid 函数。对应的决策函数为:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

 选择0.5作为阈值是一个一般的做法。实际应用时特定的情况能够选择不同阈值。如果对正例的判别准确性要求高,能够选择阈值大一些。对正例的召回要求高,则能够选择阈值小一些。

 

 

决策边界(Decision Boundary)

 决策边界,也称为决策面。是用于在N维空间。将不同类别样本分开的平面或曲面。

 首先看Andrew Ng老师课程上的两张图:

 线性决策边界:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 决策边界:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

 非线性决策边界:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 决策边界:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

 上面两张图非常清晰的解释了什么是决策边界,决策边界事实上就是一个方程,在逻辑回归中。决策边界由theta’X=0定义。

 要注意理解如果函数和决策边界函数的差别与联系。决策边界是如果函数的属性,由如果函数的參数决定。

 在逻辑回归中,如果函数(h=g(z))用于计算样本属于某类别的可能性;决策函数(h=1(g(z)>0.5))用于计算(给出)样本的类别。决策边界(θ^Tx=0)是一个方程。用于标识出分类函数(模型)的分类边界。

 

 

代价函数(Cost Function)

 线性回归中的代价函数:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 线性回归中的代价函数看上去非常好理解。但却不能用于逻辑回归。原因例如以下:

 如果我们使用这个代价值形式,J(θ)会变成參数θ的非凸函数,由于在逻辑回归中,H(θ)是一个Sigmoid函数,其曲线例如以下:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

 该函数是一个非凸函数,有非常多局部最优值。

如果你把梯度下降法用在一个这种函数上,不能保证它会收敛到全局最小值。

 对应地我们希望我们的代价函数J(θ)是一个凸函数,是一个单弓形函数,例如以下:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

 如果对它使用梯度下降法。我们能够保证梯度下降法会收敛到该函数的全局最小值。

 由于H(θ)是一个sigmoid函数,导致J(θ)成为一个非凸函数,因此。我们须要另外找到一个不同的代价函数,它是凸函数,使得我们能够使用非常好的算法,如梯度下降法,并且能保证找到全局最小值。

 

 因此,我们採用例如以下的形式计算样本的代价值:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 逻辑回归中的代价函数:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

补充资料:极值 和 最优化问题

 所谓极值。简单地说,是指一群同类量中的最大量(或最小量).对于极值问题的研究,历来被视为一个引人入胜的课题.波利亚说过:“虽然每一个人都有他自己的 问题,我们能够注意到。这些问题大多是些极大或极小问题.我们总希望以尽可能低的代价来达到某个目标。或者以一定的努力来获得尽可能大的效果,或者在一定 的时间内做最大的功,当然,我们还希望冒最小的风险。

我相信数学上关于极大和极小的问题,之所以引起我们的兴趣,是由于它能使我们日常生活中的问题理想 化.”波利亚,《数学与猜想》,第一卷。第133页我们将看到。很多实际问题和数学问题。都可归结为形形色色的极值问题,才干得到统一地解决.

 

 

优化方法

 在逻辑回归中,依旧使用梯度下降法对代价函数进行优化。完整形式例如以下:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)

 

 注意:

 逻辑回归和线性回归问题中。梯度下降算法的形式看上去是一致的(更新參数的规则看起来基本同样),但实际上两者是全然不同的。由于如果函数是不同的,须要特别注意这一点。

 

 其向量化实现(vectorized implementation)例如以下:

 [机器学习] Coursera ML笔记 - 逻辑回归(Logistic Regression)