逻辑斯蒂回归(二项和多项)

时间:2024-02-19 08:39:43

逻辑斯蒂回归(二项和多项)

1. 逻辑斯蒂分布定义

设X是连续随机变量,则X服从逻辑斯蒂分布,是指X具有下列分布函数和密度函数:

F(x)=P(X<=x)=11+e(xμ)/γ

f(x)=F(x)=e(xμ)/γγ(1+e(xμ)/γ)2

其中μγ>0

F(x)图像如下:
这里写图片描述

1. 二项逻辑斯蒂回归模型

1.1
二项逻辑斯蒂回归模型是一种分类模型,由条件概率分布PY|X表示。这里X取值为实数,Y取0或者1.概率模型如下:

P(Y=1|x)=exp(ωx+b)1+exp(ωx+b)

P(Y=0|x)=1P(Y=1|x)=1)1+exp(ωx+b)

1.2
对数几率:如果事件发生的概率是p,那么该事件的几率是p1p,改事件的对数几率是:
logit(p)=logp1p

对二项逻辑斯蒂回归而言,logit(p)=logP(Y=1|x)1P(Y=1|x)=ωx+b
1.3
模型参数估计,极大似然法
似然函数:L(ω,b)=ΠNi=1p(yi|xi;ω,b) ——即在参数β=(ω,b)的条件下,样本xi属于yi的概率
其中p(yi|xi;ω,b)=yip(y=1|xi;β)+(1yi)p(y=0|xi;β)
取对数:logL(ω,b)=ΣNi=1logp(yi|xi;ω,b)
采用梯度下降或牛顿法求解

2. 多项逻辑斯蒂回归模型

概率模型

P(Y=k|x)=exp(ωKx+b)1+ΣK1i=1exp(ωkx+b),k=1,2,...,K1

P(Y=K|x)=11+ΣK1i=1exp(ωkx+b)

1.原理:分类的思想其实与逻辑回归分类(默认是指二分类,binary classification)很相似——构造K个二分类LR假设函数即可
这里其实是“one VS all“的思想:对每一个类,有针对性地训练一个LR分类器。当输入一个新的样本,预测该样本为分类器得分最高的那一类即可
这里写图片描述
2.如下图,共有三类。每次训练某一类的时候,将其他所有类归位另一类进行训练,得到一个二分类的LR
这里写图片描述
3.参数估计
二项逻辑斯蒂回归的参数方法可以推广到多项