机器学习基础

自己总结的机器学习基础算法，和相应的python代码实现，直接上传word和python代码

机器学习算法基础及Python实现

目录

一 机器学习概述...4

1.1 统计学习...4

1.2 监督学习...4

1.3 模型评估与选择...4

1.4 模型的泛化能力...5

二 预测算法...5

1 一元线性回归...5

1.1 为什么用回归...5

1.2 一元线性回归模型...5

2 最优化方法-梯度下降法...7

3 基函数... 10

3.1 多项式回归...10

3.2 回归模型中的基函数...13

4 欠拟合与过拟合...13

4.1 欠拟合... 13

4.2 过拟合... 13

5 多元线性回归...15

6 应用实例-. 18

三 分类算法...18

1 线性分类器-感知器...18

1.1 感知器... 18

1.2 感知器的学习策略...18

1.3 优化损失函数...19

1.4 代码实现...19

2 线性分类器-逻辑回归...20

2.1 逻辑回归分布...21

2.2 二项逻辑回归...21

2.3 参数估计...21

2.4 基函数... 22

2.5 过拟合（正则化）...22

2.6 参数的矩阵表示...22

2.7 代码实现...22

3 贝叶斯分类器...24

3.1 贝叶斯公式...24

3.2 高斯贝叶斯分类器...24

3.2.1 理论简介...24

3.2.2 代码实现...25

3.3 多项式贝叶斯分类器...25

3.3.1、构造数据集信息...26

3.3.2、计算特征（单词）概率...26

3.3.3、计算整篇文档的频率...27

3.3.4、贝叶斯公式...27

3.3.5、选择分类...28

3.3.6、费舍尔方法...28

3.3.7、增量式训练...28

4 总结... 29

5 应用实例-主动客服...29

四 聚类算法...29

1 Kmeans. 29

2 谱聚类... 32

3 应用实例-网格化配送...34

五 降维算法...34

1 主成分分析（PCA）...34

1.1 主成分应用...34

1.2 一个例子...35

1.2.1 求主成分和主成分得分...35

1.2.2 确定分析精度...37

1.2.3 分析结果...37

1.2.4 程序解析...38

2 隐性语意分析（LSA）...38

2.1 基于LSA的文本摘要算法...38

2.2 文本降维...40

3 应用实例-文本聚类...41

六 模型选择...41

1 模型选择方法...41

2 交叉验证... 41

2.1 计算交叉验证指标....42

2.2 数据集分割方法...42

2.2.1 K折法....42

2.2.2 留一验证法（LOO）....42

2.2.3 留P个样本验证（LPO）....42

3 模型性能的评价准则...42

3.1 混淆矩阵...42

3.2 准确率、召回率、F-得分...43

七 推荐算法...44

7.1、推荐系统概述...44

7.2、推荐系统类型...44

7.3、推荐系统的组成...44

7.4、基于协同过滤的推荐...45

7.4.1 什么是协同过滤...45

7.4.2 协同过滤的核心...45

7.4.3 协同过滤算法...45

4.3.1 基于用户的协同过滤推荐...45

4.3.2 基于项目的协同过滤推荐算法...46

7.5 推荐算法评价...47

7.5.1 训练数据和得分...47

7.5.2 准确率和召回率...48

八 技术前沿...50

1 深度学习... 50

2 流形学习... 50

3 知识图谱... 50

4 推荐阅读... 50