机器学习简要笔记(五)——Logistic Regression(逻辑回归)

时间:2022-06-03 23:53:17

1、Logistic回归的本质
逻辑回归是假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度上升/下降法来求解参数,从而实现数据的二分类。

1.1、逻辑回归的基本假设
①伯努利分布:以抛硬币为例,每次试验中出现正面的概率为P,那么出现负面的概率为1-P。那么如果假设hθ(x)为样本为正的概率,1-hθ(x)为样本为负的概率。
那么模型为hθ(x:θ)=P,并假设概率函数为Sigmoid函数

②Sigmoid函数
机器学习简要笔记(五)——Logistic Regression(逻辑回归)

机器学习简要笔记(五)——Logistic Regression(逻辑回归)

机器学习简要笔记(五)——Logistic Regression(逻辑回归)

1.2、逻辑回归的损失函数
逻辑回归的损失是它的极大似然函数
机器学习简要笔记(五)——Logistic Regression(逻辑回归)

1.3、逻辑回归函数的求解
由于极大似然函数无法直接求解,将其转化为对数函数,利用梯度下降法逼近求解。

2、推导过程

对于一般训练集(所有的向量都为行向量)

机器学习简要笔记(五)——Logistic Regression(逻辑回归)

参数系统

机器学习简要笔记(五)——Logistic Regression(逻辑回归)

逻辑回归模型:

机器学习简要笔记(五)——Logistic Regression(逻辑回归)

参数求解推导
逻辑回归是用于{0,1}二分类问题,并假设满足伯努利分布:
机器学习简要笔记(五)——Logistic Regression(逻辑回归)

一般形式为:
机器学习简要笔记(五)——Logistic Regression(逻辑回归)

采用最大似然估计求解参数
机器学习简要笔记(五)——Logistic Regression(逻辑回归)

上式两边同时取自然对数

机器学习简要笔记(五)——Logistic Regression(逻辑回归)

对参数求导并矩阵化:
机器学习简要笔记(五)——Logistic Regression(逻辑回归)
采用梯度上升发,对参数进行更新:
机器学习简要笔记(五)——Logistic Regression(逻辑回归)

机器学习简要笔记(五)——Logistic Regression(逻辑回归)

3、代码实现