机器学习入门基础大纲

时间:2021-11-08 22:02:55

为了系统性的介绍机器学习入门,本文特意列了一个提纲。接下来的一些文章我会按照下面的提纲一一介绍里面的内容,有的概念会点到为止,有的概念会说的比较多。介绍中有什么不妥或者不对的地方,还望大家指出。

数学基础

微积分

极限,e,导数,微分,积分

偏导数,方向导数,梯度

极值,多元函数极值,多元函数泰勒展开

无约束优化,约束优化

拉格朗日乘子,对偶问题

 

概率

随机变量,概率密度函数,分布函数

条件概率,全概率公式,贝叶斯公式

期望,方差

大数定理,中心极限定理

协方差,相关系数

常见概率分布,泊松分布

指数族分布,多元高斯分布

参数估计,矩估计,极大似然估计

 

线性代数

矩阵,行列式,初等变换

线性相关,线性无关

秩,特征值,特征向量

正交向量、正交矩阵

矩阵分解

 

机器学习基本概念

输入空间,特征空间和输出空间

联合概率分布,假设空间

三要素:方法=模型+策略+算法

 

感知机Perceptron

感知机模型、学习策略、训练方法

0-1损失函数

感知机的几何解释

感知机证明

pocket perceptron

 

线性回归

模型、损失函数、训练方法、概率解释

  

逻辑回归

模型、损失函数、训练方法、概率解释

逻辑回归的形式,推导和训练,逻辑斯蒂损失

拟牛顿法,LBFGS

  

机器学习诊断和调试

训练误差、测试误差、欠拟合、过拟合

损失函数、风险函数、经验风险、结构风险

正规化、交叉验证

 

推荐系统

协同过滤(User based,Item based,Slope one)

Model-based

SVD++

Aprior算法

 

树模型和boost

熵的定义和应用,信息增益

决策树、ID3、C4.5和CART

Adaboost,指数损失函数

梯度提升树 GBDT

随机森林 Random Forest

 

支持向量机SVM

硬间隔最大化,函数间隔,几何间隔

软间隔最大化

对偶算法

合页损失函数

核函数、核技巧

SMO算法

 

最大熵模型

模型定义、约束条件和推导

重新理解逻辑回归

 

神经网络

模型的定义和训练

BPA算法

 

无监督学习

K-Means和高斯混合模型GMM

EM算法,推导、解释和理解

Topic Model基础,svd、lsa、plsa、lda

 

总结

损失函数比较

模型的比较和选择

解决实际问题的一般步骤