按照训练样本提供的信息以及反馈方式的不同，将机器学习算法分为监督学习（每个样本都有标签）、无监督学习（不包含目标标签）、强化学习（通过交互来学习）。
1.监督学习
定义：如果机器学习的目标是通过建模样本的特征 x 和标签 y 之间的关系：y = f(x, θ)或p(y|x, θ)，并且训练集中每个样本都有标签，那么这类机器学习称为监督学习（Supervised Learning）。
根据标签类型的不同，监督学习又可以分为回归问题和分类问题和结构化学习问题。
- 回归（Regression）问题中的标签y 是连续值（实数或连续整数），f(x, θ)的输出也是连续值。
- 分类（Classification）问题中的标签y是离散的类别（符号）。在分类问题中，学习到模型也称为分类器（Classifier）。分类问题根据其类别数量又可分为二分类（Binary Classification）和多类分类（Multi-class Classification）问题。
- 结构化学习（Structured Learning）的输出是结构化的对象，比如序列、树或图等。由于结构化学习的输出空间比较大，因此我们一般定义一个联合特征空间，将 x, y 映射为该空间中的联合特征向量 ϕ(x, y)，预测模型可以写为
其中Gen(x)表示输入x所有可能的输出目标集合。计算arg max的过程也称为解码（decoding）过程，一般通过动态规划的方法来计算。
监督学习分为回归问题（标签为连续的）、分类问题（标签是离散的）、结构化学习问题（标签为结构化对象，如：序列、树和图）
2.无监督学习
指从不包含目标标签的训练样本中自动学习到一些有价值的信息。典型的无监督学习问题有聚类、密度估计、特征学习、降维等。
3.强化学习
通过交互来学习的
机器学习算法。在强化学习中，智能体根据环境的状态做出一个动作，并得到即时或延时的奖励。智能体在和环境的交互中不断学习并调整策略，以取得最大化的期望总回报
监督学习通常需要大量的有标签数据集，这些数据集是一般都需要由人工进行标注，成本很高。因此，也出现了很多弱监督学习（Weak Supervised Learning）和半监督学习（Semi-Supervised Learning）的方法，希望从大规模的无标注数据中充分挖掘有用的信息，降低对标注样本数量的要求。
强化学习和监督学习的不同在于强化学习不需要显式地以“输入/输出对”的方式给出训练样本，是一种在线的学习机制
三种机器学习类型的比较：