[机器学习笔记]二:Classification and logistic regression（分类和逻辑回归）

在前面我们讨论线性回归的问题，现在我们讲讨论二元分类的问题。二元分类的值是一个离散的值，仅仅为0或1.

1. Logistic regression(逻辑回归)

在讨论线性回归的时候，我们引入了评判函数。尽管我们可以用线性回归的评判函数来评判逻辑回归，但是这通常不会取得好的效果，因此我们将使用新的评判函数

g(z)=11+e−z，其中z=−θTx(1) $$\begin{array}{}\text{(1)}& g(z)=\frac{1}{1+e^{-z}}，其中z=-{\theta }^{T}x\end{array}$$

我们称这个函数为logistic function或sigmoid function.对g(z)求导，可以得到

g(z)′=g(z)(1−g(z))(2) $$\begin{array}{}\text{(2)}& g(z{)}^{{}^{\prime }}=g(z)(1-g(z))\end{array}$$

可以得到

p(y|x;θ)=(hθ(x))y(1−hθ(x))1−y(3) $$\begin{array}{}\text{(3)}& p(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}\end{array}$$

那么评判z参数的似然函数为

L(θ)=∏i=1m(hθ(x(i)))y(i)(1−hθ(x(i)))1−y(i)(4) $$\begin{array}{}\text{(4)}& L(\theta )=\underset{i=1}{\overset{m}{\prod }}(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\end{array}$$

取

l(θ)=logL(θ)(5) $$\begin{array}{}\text{(5)}& l(\theta )=logL(\theta )\end{array}$$

我们可以推导出
1)当 l(θ) $l(\theta )$ 取得最大值时， L(θ) $L(\theta )$ 取得最大值
2) ∂∂θjl(θ)=(y−hθ(x))xj $\frac{\partial }{\partial {\theta }_j}l(\theta )=(y-h_{\theta }(x))x_j$
根据这个，我们可以得出梯度下降的规则。

2. Digression: The perceptron learning algorithm

我们前面的函数的值都是连续的，而事实上我们需要一些离散的值，那么只要制定一个分界线，其上为1，其下为0，就能实现这个需求。

3. Another algorithm for maximizing l(θ) $l(\theta )$

现在我们要介绍牛顿法，用来求最大似然值，牛顿法的总体思想，是不断进行 θ=θ−f(θ)f′θ $\theta =\theta -\frac{f(\theta )}{f^{{}^{\prime }}\theta }$，迭代的结果便是 f(θ)=0 $f(\theta )=0$
当然，我们前面的 θ $\theta$是一个向量，因此不能直接代入牛顿法中求值，因此我们要推广牛顿法，推广后的牛顿法公式如下：

θ=θ−H−1∇θl(θ)(54) $$\begin{array}{}\text{(54)}& \theta =\theta -H^{-1}{\mathrm{\nabla }}_{\theta }l(\theta )\end{array}$$

其中

Hij=∂2l(θ)∂θi∂θj(55) $$\begin{array}{}\text{(55)}& H_{ij}=\frac{{\partial }^{2}l(\theta )}{\partial {\theta }_i\partial {\theta }_j}\end{array}$$