Machine Learning - week 3

时间:2021-12-22 12:55:33

Classification

使用线性回归来分类,会很不准确。并且,它的范围也会超出 {0, 1}。所以使用下面的逻辑回归模型。

Hypothesis representation

线性回归中 hθ(x) = θTx,而在逻辑回归中,我们想要 hθ(x) ∈ [0, 1]。对结果进行双曲化处理:

Machine Learning - week 3Machine Learning - week 3

,图象如右图:Machine Learning - week 3,范围是 (0, 1)。

在线性回归中,hθ(x) 就表示 y 的值。在逻辑回归中,表示『基于输入的 x,y=1 的概率是多少』。用数学形式表示:Machine Learning - week 3

Desicion boundary

逻辑回归中, hθ(x) 是属于 (0, 1) 范围内的连续的值。但我们的分类结果只有 0 或者 1,所以就需要一个决策边界。这里,取平均值, y = 0.5。Machine Learning - week 3。从上方的双曲线图中可以看出,当 z > 0,y=1,即 θTx >= 0 时,hθ(x) >= 0.5。将区域分为 y=0 和 y=1 的两个区域。

决策边界是针对与 θ 的属性,所以 θ 不同,决策边界也不同。

非线性的决策边界

当 hθ(x) 是多项式的时候,Machine Learning - week 3

当多项式更加复杂的时候,决策边界的形状也会更加复杂。

Cost Function

Machine Learning - week 3

当 y = 1 时,如果 hθ(x) = 0,那么 cost 接近无限大。因为你预测不是恶性肿瘤,但实际上是恶性肿瘤。同样,如果不是恶性肿瘤,你预测 y = 1 的概率越接近 1,那么误差越小。

y = 0 时的情况同理可得。

化简的 Cost Function 和 Gradient Descent

化简后(通过遍历所有情况能够证明)

Machine Learning - week 3

J(θ) 为

Machine Learning - week 3

Gradient Descent

Machine Learning - week 3

Logistic Regression 与 Linear Regression 在 Gradient Descent 上的不同,就是 hθ(x) 的不同。

用矩阵计算为:

grad = (X' * (h - y)) / m;

 这里是求和,所以最终是 1*1,所以转置成这样的形式 [1 * n] * [n * 1]。

Advanced Optimization

使用更高级的算法,不需要手动选择 learning rate;通常比 gradient descent 更快;缺点是更复杂。

可以使用库直接调用这些算法,不需要深入理解它们。

Machine Learning - week 3

% 我们传入了 GradObj,最大循环次数为 100 次
octave:1> options = optimset('GradObj', 'on', 'MaxIter', '100')
options = scalar structure containing the fields: GradObj = on
MaxIter = 100 octave:2> initialTheta = zeros(2,1 )
initialTheta = 0
0

jVal 表示 j(θ) 的计算方法

gradient 表示对应 θ 的计算方法(求导)

Multiclass Classfication

大于 2 个类别,如邮件分类:工作、朋友、家庭。

使用 one-vs-rest 方法。

假设有 3 类,我们将测试数据分为 C32 类别,把一类看作 positive,其他类看做 negative。这样我们就能得到三个 h(θ)

Machine Learning - week 3

在预测时,由于有三个 h(θ) 函数,所以有三个结果。一般是取概率最大的作为最终预测结果。

习题

Machine Learning - week 3

Machine Learning - week 3

从图中可以可以看出,应该是一个圆把蓝色的圈住,所以应该有两个 x2

1. 如何判断是否 convex,gradient 什么情况下(能/否) converge

    • 判断 convex 要由数学证明完成,我们是选择别人证明好的 cost function,这里不做证明。
    • 确保 learning rate α 被设置合适。

Machine Learning - week 3

2. 增加多项式 features 可以增加对训练数据的匹配。更匹配的意思是:使曲线与数据更贴近。

对。

3. 能否被直线分割为两段有什么区别?对 converge 有影响吗?

不知道。应该没有

non-linear decision boundaries

Machine Learning - week 3

4. linear regression 与 logistic regeress 的区别?两者会相同吗?在什么情况下会相同?

Gradient Descent 的公式是一样的,但是 hθ(x) 不一样

Machine Learning - week 3

为什么  hθ(x) 要不一样呢?

想要 0 <  hθ(x) < 1,所以定义了 Logistic function (sigmoid function)。

还是有错误。

Machine Learning - week 3

有错误

第二个选项:应该对的。J(θ) 表示的是误差。

第三个选项:没有理解清楚。算错误的

第四个选项:

Machine Learning - week 3

没有提到 local minimum,但我认为有这个原因。

如何用 vector 表示 J(θ)

3. Machine Learning - week 3

从课件中查到公式为 Machine Learning - week 3,所以 3、4 是对的。

1 是错误的。

θTx - y(i) 为 n * 1 的 vector。乘以 x 第 i 行。应该是乘以 x 第 i 行第 j 个,其中 j 是不变的。所以是错误。

Machine Learning - week 3

第一个,对的

第二个,意思是:允许你对于每个 y 来自固定的、离散的几组值。对的。

第三个,对。范围就是 >= 0 不会变

第四个,对

存在错误。

Machine Learning - week 3