逻辑斯蒂回归(Logistic Regression)

时间:2022-10-09 23:52:00

逻辑回归名字比较古怪,看上去是回归,却是一个简单的二分类模型。

逻辑回归的模型是如下形式:

逻辑斯蒂回归(Logistic Regression)

其中x是features,θ是feature的权重,σ是sigmoid函数。将θ0视为θ0*x0(x0取值为常量1),那么

逻辑斯蒂回归(Logistic Regression)

这里我们取阈值为0.5,那么二分类的判别公式为:

逻辑斯蒂回归(Logistic Regression)

下面说一下参数θ的求解:

逻辑斯蒂回归(Logistic Regression)

为啥子这样去损失函数呢?

当y=1的时候,显然hθ(x)越接近1我们的预测越靠谱;y=0时同理。所以应该在y=1时,使损失韩式-log(hθ(x))越小越好,y=0时,同样使损失函数-log(1-hθ(x))越小越好,即得上式