Lecture 3：Types of Learning（各种类型的机器学习问题）
3.1 Learning with Different Output Space（不同类型的输出空间）
用患者患病的例子讲述二元分类、多元分类和回归分析的差别。
1. binaryclassification（二元分类问题）
银行发信用卡问题就是一个典型的二元分类问题，其输出空间只包含两个标记+1和-1，分别对应着发卡与不发卡。
二元分类问题是机器学习中重要的一个问题。
二元分类的数据可能是线性可分的、线性不可分的，也有可能是带有噪音的。
二元分类，就是判断这个人是否患病。答案不是+1，就是-1.是显而易见的判断题。
2． MulticlassClassification（多元分类）
有二元分类，就不难想到多元分类的问题，该类问题输出标签不止两种，而是{1,2,…,K}。
这在人们的生活中非常常见，比如给水果的图像分类，识别硬币等等，其主要的应用场景就是模式识别。
多元分类，就是判断这个人患的是什么病？是一道典型的选择题。
3. Regression(回归分析)
该问题的输出空间为一个实实在在的数值，该输出不是一种毫无意义的标记，而是有实际意义的输出值。
所以，回归分析，对应的就是患者康复需要的时间，这个时间是一个数值而非一个标记。这种问题可以看做填空题。
3.2 Learning with Different Data Label（不同的数据标记）
1． SupervisedLearning(监督学习)
知道数据输入x的同时还知道数据的标记y。就相当于告诉你题目的同时还告诉你答案。
老师在课上举了个例子，硬币分类问题，如图所示，其中横轴标示硬币的大小，纵轴标示硬币聚集的堆。
其中这几种类别的硬币已经被各种不同的颜色所标示好。
2. UnsupervisedLearning（无监督学习）
知道数据输入x但是不知道知道数据的标记y。就相当于告诉你题目但是不告诉你答案，让你自己去找。
再以硬币分类为例进行阐述，如图所示。
这种类型的问题最常见的是聚类或者叫分群（clustering），从图中不难看出无标示的难度比有标示的难度增加不少，而且极有可能犯错。
除了聚类之外还有其他的无监督学习，如密度评估（density estimation）和离群点检测（outlier detection）等等。
3. Semi-supervisedLearning（半监督学习）
监督学习需要太多标记，无监督学习太过容易犯错。是否能在监督式学习和无监督学习之间取一个中庸的方法呢？答案是可以的，就是半监督学习。
半通过少量有标记的训练点和大量无标记的训练点达到学习的目的。
以硬币为例，如图所示。
这种类型的例子也有很多，比如图像的识别，很多情况下我们不可能把每张图片都做上标记（因为做这种标记需要耗费大量的人力物力，是一种昂贵的行为）。
4． ReinforcementLearning（强化学习）
强化学习是通过对一个行为作出奖励或者惩罚，以此获得的输出，进而进行学习。
就像你要训练狗，你可以通过奖励以及惩罚来改变狗的行为。
3.3 Learning with Different Protocol(不同方式获取数据)
在不同的协议中可以将机器学习分为三大类：
1. 批量（batch）学习就是将很多数据一次性的给算法进行学习，最常见的方式；
2. 在线（online）学习就是一点一点将数据传输进去，如PLA和增强学习都适用于这种形式；
3. 主动（active）学习是主动提出问题让算法解决，可以节省大量的训练和标记消耗。
3.4 Learning with Different Input Space(不同的输入空间)
输入又可以称之为特征（features），其主要分为三种：
1. 具体特征（Concrete Features），具体特征最大特点就是便于机器学习的处理，也是基础篇中主要讨论的情形。这种情况是人类或者机器通过一定的方式提取获得的，具有实用性。
2. 原始特征（Raw Features），如图片的像素等等，是最为常见到的资料，但是需要经过处理，转换成具体特征，才容易使用，实用性不太大。
3. 抽象特征（Abstract Features），如一些ID之类的看似无意义的数据，这就更需要特征的转换、提取等工作（相对于原始特征而言），几乎没有实用性。