局部加权回归Loess对比MFCC三角滤波(吴恩达机器学习中说，Loess算法用到了aircraft的自动驾驶中)
局部加权回归（Loess）：Loess的目标是最小化， 其中的作用是使预测点的临近点在最小化目标函数中贡献大：Loess更加注重临近点的精确拟合。这个算法中最神奇的就是这个w，局部相关性w很像高斯模板中心到边缘（3*sigma+1）/2的局部相关性，也就相关性关注（起作用），其他不关注（不起作用）；...
机器学习：原型聚类-高斯混合聚类算法、EM算法原理推导证明
高斯混合聚类假设样本来自高斯混合分布。先看高斯分布，若样本n维样本x服从高斯分布，则其概率密度函数为：可以看出，高斯分布完全由均值向量μ和协方差矩阵Σ两个参数确定，把上式概率密度函数记为：p(x|μ,Σ).实际中，样本集可能是来自多个不同的概率分布，或者来自相同的概率分布但分布的参数不同（这里的不同...
支持向量机（SVM）后篇 核函数（Kernels）线性不可分情况 SMO算法——机器学习
六 核函数（Kernels）例如，对于二分问题，某些数据的结果需从一维映射到高维，才能线性可分，简而言之就是可以用超平面划分。比如，在线性回归单一特征的例子中，我们将唯一的特征x，映射到三维，分别为x,x^2,x^3。定义一个关于特征向量x的函数列向量φ(x)，这被称为特征映射，其中每一行代表映射的...
机器学习实战-ch2-有标签的聚类算法
本书中的这个聚类算法多少有些让人意外。通常的聚类算法是这样的：给定一堆点；给定一个距离计算的算法；给定一个cluster之间的距离d，或者最小的cluster数目k；初始化，每个点作为初始集群的中心；循环直到cluster个数小于K，或者任意两个cluster的距离大于d；计算每个点i到每个中心点j...
【玩转数据系列十三】机器学习算法基于信用卡消费记录做信用评分
原文链接机器学习算法基于信用卡消费记录做信用评分背景如果你是做互联网金融的，那么一定听说过评分卡。评分卡是信用风险评估领域常用的建模方法，评分卡并不简单对应于某一种机器学习算法，而是一种通用的建模框架，将原始数据通过分箱后进行特征工程变换，继而应用于线性模型进行建模的一种方法。评分卡建模理论常被用于...
机器学习中的 K-均值聚类算法及其优缺点
K-均值聚类是一种常用的无监督机器学习算法，用于将数据集划分为K个不同的类别。该算法基于以下原理： 确定要划分的类别数量K。随机选择K个数据点作为聚类中心。对于每个数据点，计算其与每个聚类中心的距离，并将其分配到最近的聚类中心所对应的类别。更新每个类别的聚类中心为该类别内所有数据点的均值。重复步骤3...
【干货】机器学习常用 35 大算法盘点（附思维导图）
在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将侧重后者，也就是根据类似的形式或功能分类。在阅读完本文以后，你将会对监督学习中最受欢迎的机器学习算法，以及它们彼此之间的关系有一个比较深刻的了解。事先说明一点，我没有涵盖...
基于机器学习中KNN算法的车牌字符识别
小编的毕业设计做的就是车牌识别系统，主要包含车牌定位、字符分割、车牌识别模块。先附上做的系统界面图。 关于实现车牌定位和字符分割的算法，大家可以去网上找相关的论文，本文的重点是介绍利用机器学习的KNN算法实现简单的字符识别。 KNN算法全称k-NearestNeighbor，是机器学习分类领...
【机器学习算法】【2】--K近邻算法
K最近邻(k-Nearest Neighbor，KNN)，是一种常用于分类的算法，是有成熟理论支撑的、较为简单的经典机器学习算法之一。该方法的基本思路是：如果一个待分类样本在特征空间中的k个最相似(即特征空间中K近邻)的样本中的大多数属于某一个类别，则该样本也属于这个类别，即近朱者赤，近墨者黑。显然...
机器学习算法（7）——K近邻(KNN)与K均值(K-means)算法
K-近邻算法（KNN）概述 （有监督算法，分类算法） 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导...
机器学习笔记(8)——集成学习之Bootstrap aggregating(Bagging)装袋算法
Bootstrap aggregating自举汇聚法Bagging装袋法1.概念是一种在原始数据集上通过有放回抽样重新选出S个新数据集来训练分类器的集成技术。也就是说这些新数据集是允许重复的。使用训练出来的分类器集合来对新样本进行分类，然后用多数投票或者对输出求均值的方法统计所有分类器的分类结果，结...
【机器学习】 XGBoost算法梳理
前言：XGBoost原理上跟普通GBDT一样，都属于集成算法中的boost类。boost的原理可以看我的另外两篇介绍集成学习的文章，这里不多赘述。所以这篇文章主要在XGB与普通GBDT不同之处进行讨论。1.损失函数XGB的损失函数是支持自定义的，只要满足二阶可导即可。XGB的损失函数除了拟合上一轮残...
机器学习（二）——xgboost（实战篇）Pima印第安人数据集上的机器学习-分类算法（根据诊断措施预测糖尿病的发病）
数据集简介该数据集最初来自国家糖尿病/消化/肾脏疾病研究所。数据集的目标是基于数据集中包含的某些诊断测量来诊断性的预测 患者是否患有糖尿病。从较大的数据库中选择这些实例有几个约束条件。尤其是，这里的所有患者都是Pima印第安至少21岁的女性。数据集由多个医学预测变量和一个目标变量组成Outcome。...
【机器学习】数据挖掘算法——关联规则（三），FP-growth算法
前言 上一篇文章介绍了用来挖掘发现强关联规则的Apriori算法。同时也知道了Apriori算法在实现过程中由于需要频繁的扫描数据集导致效率较低。 FP-growth算法基于Apriori构建，但采用了高级的数据结构减少扫描次数，大大加快了算法速度。FP-growth算法只需要对数据库进行两次扫...
机器学习算法之二KD树
KD树 实现k近邻算法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这在特征空间的维数大及训练数据容量大时尤其必要。k近邻法最简单的实现是线性扫描（穷举搜索），即要计算输入实例与每一个训练实例的距离。计算并存储好以后，再查找K近邻。当训练集很大时，计算非常耗时。为了提高kNN搜索的效率，可以...
【机器学习算法】【9】--聚类算法
前言：在谈论K-means之前，我们是不是会联想到KNN算法呢，感觉这两个好像啊，其实两者差别还是很大的，一个是有监督学习算法，有对应的类别输出，一个是无监督的学习算法，没有样本输出，而且KNN算法是基于实例的一种的算法，KNN只是简单地把训练样例存储起来，并没有中间的训练过程，而K-mans算法确...
机器学习：降维算法-主成分分析PCA算法两种角度的推导
若把高维空间的样本点（可以想象是一个3维的）映射到一个超平面，怎样的超平面可以认为是“好的”，可以想到这个超平面大概有这样的性质：最近重构行：样本点到超平面的距离都足够近；（样本点变化尽可能小，丢失的信息尽可能少）最大可分性：样本点在这个超平面上的投影尽可能分开.（样本点在低维空间区分度尽可能高）神...
机器学习-回归之一元回归与多元回归算法原理及实战
一元回归分析和多元线性回归前言在统计学中，回归分析(Regression Analysis)指的是确定两种或两种以上变量间的相互依赖的定量关系的一种分析方法。该方法常使用数据统计的基本原理，对大量统计数据进行数学处理，并确定因变量与某些自变量的相关关系，建立一个相关性较好的回归方程（函数表达式），并...
机器学习分类及机器学习算法概览
机器学习分类及机器学习算法概览机器学习可分为3类：（监督学习、无监督学习、强化学习）1.监督学习：监督学习表示机器学习的数据是带标记的，这些标记可以包括数据类别、数据属性及特征点位置等。这些标记作为预期效果，不断修正机器的预测结果。每当想要根据给定输入预测某个结果，并且还有输入/输出示例时，都应该使...
机器学习入门：探索智能算法的世界 （上）
引言 在信息时代，数据与算法构成了新的基石，而机器学习则是连接它们的桥梁。机器学习，一门让计算机通过数据学习并做出决策的科学，正逐渐成为现代技术不可或缺的一部分。从个性化推荐系统、自动驾驶汽车到高级数据分析和预测模型，机器学习的应用几乎遍及每一个领域，它不仅在塑造我们的日常生活，也在重新定义未来的可...