斯坦福CS229机器学习课程笔记一:线性回归与梯度下降算法
应该是去年的这个时候,我开始接触机器学习的相关知识,当时的入门书籍是《数据挖掘导论》。囫囵吞枣般看完了各个知名的分类器:决策树、朴素贝叶斯、SVM、神经网络、随机森林等等;另外较为认真地复习了统计学,学习了线性回归,也得以通过orange、spss、R做一些分类预测工作。可是对外说自己是搞机器学习的...
Coursera公开课笔记: 斯坦福大学机器学习第八课“神经网络的表示(Neural Networks: Representation)”
斯坦福大学机器学习第八课“神经网络的表示(Neural Networks: Representation)”学习笔记,本次课程主要包括7部分: 1) Non-linear hypotheses (非线性hypotheses) 2) Neurons and the brain (神经元和大脑) 3...
斯坦福大学公开课机器学习:machine learning system design | data for machine learning(数据量很大时,学习算法表现比较好的原理)
下图为四种不同算法应用在不同大小数据量时的表现,可以看出,随着数据量的增大,算法的表现趋于接近。即不管多么糟糕的算法,数据量非常大的时候,算法表现也可以很好。数据量很大时,学习算法表现比较好的原理:使用比较大的训练集(意味着不可能过拟合),此时方差会比较低;此时,如果在逻辑回归或者线性回归模型中加入...
斯坦福NG机器学习:K-means笔记
K-means 聚类算法: K-means聚类算法 算法流程,我们首先有训练集,但是训练集我们没有类标签,我们想把数据聚类成一些cluster ,这是一种无监督学习方法。具体步骤:1. 首先初始化cluster centroid 2. 迭代的找每一个数据集点到最近cluster centroid,然...
斯坦福第十七课:大规模机器学习(Large Scale Machine Learning)
17.1 大型数据集的学习17.2 随机梯度下降法17.3 微型批量梯度下降17.4 随机梯度下降收敛17.5 在线学习17.6 映射化简和数据并行17.1 大型数据集的学习17.2 随机梯度下降法17.3 微型批量梯度下降17.4 随机梯度下降收敛17.5 在线学习17.6 ...
斯坦福第十一课:机器学习系统的设计(Machine Learning System Design)
11.1 首先要做什么11.2 误差分析11.3 类偏斜的误差度量11.4 查全率和查准率之间的权衡11.5 机器学习的数据11.1 首先要做什么在接下来的视频中,我将谈到机器学习系统的设计。这些视频将谈及在设计复杂的机器 学习系统时,你将遇到的主要问题。同时我们会试着给出一些关于如何巧...
斯坦福机器学习视频笔记 Week7 支持向量机 Support Vector Machines
SVM被许多人认为是最强大的“黑箱”学习算法,并通过提出一个巧妙选择的优化目标,今天最广泛使用的学习算法之一。Optimization Objective根据Logistic Regression,有如下表述:为了达到尽量好的分类效果,我们需要theta‘*x >> 0 or theta...
斯坦福大学机器学习,EM算法求解高斯混合模型
斯坦福大学机器学习,EM算法求解高斯混合模型。一种高斯混合模型算法的改进方法---将聚类算法与传统高斯混合模型结合起来的建模方法, 并同时提出的运用距离加权的矢量量化方法获取初始值,并采用衡量相似度的方法来融合高斯分量。从对比结果可以看出,基于聚类的高斯混合模型的说话人识别相对于传统的高斯混合模型在...
斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法
在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ,从而确定f(θ)。本篇将介绍还有一种求解最大似然概率ℓ(θ)的方法,即牛顿迭代法。在牛顿迭代法中。如果一个函数是,求解θ值使得f(θ)=0。在图1中可知,图1选择一个点,相应函数值为,并将相应的切线与x轴相交的点记为,...
斯坦福大学公开课机器学习: advice for applying machine learning | deciding what to try next(revisited)(针对高偏差、高方差问题的解决方法以及隐藏层数的选择)
针对高偏差、高方差问题的解决方法:1、解决高方差问题的方案:增大训练样本量、缩小特征量、增大lambda值2、解决高偏差问题的方案:增大特征量、增加多项式特征(比如x1*x2,x1的平方等等)、减少lambda值隐藏层数的选择对于拟合效果的影响:隐藏层数过少,神经网络简单,参数少,容易出现欠拟合;隐...
斯坦福大学公开课机器学习:advice for applying machine learning | diagnosing bias vs. variance(机器学习:诊断偏差和方差问题)
当我们运行一个学习算法时,如果这个算法的表现不理想,那么有两种原因导致:要么偏差比较大、要么方差比较大。换句话说,要么是欠拟合、要么是过拟合。那么这两种情况,哪个和偏差有关、哪个和方差有关,或者是不是和两个都有关,搞清楚这点很重要。能判断出现的情况是这两种中的哪一种,是一个很有效的指示器,指引着可以...
斯坦福机器学习视频笔记 Week1 Linear Regression and Gradient Descent
最近开始学习Coursera上的斯坦福机器学习视频,我是刚刚接触机器学习,对此比较感兴趣;准备将我的学习笔记写下来,作为我每天学习的签到吧,也希望和各位朋友交流学习。这一系列的博客,我会不定期的更新,希望大家多多批评指正。SupervisedLearning(监督学习)在监督学习中,我们的数据集包括...
【斯坦福---机器学习】复习笔记之经验风险最小化
这一讲开始将是学习理论(LearningTheory)方面的内容.Bias/variancetrade-off(偏差-方差权衡)回到线性回归问题,如图:泛化误差(generalizationerror):可能出现的错误并不再已有的数据集中上图中,左右两幅图的泛化误差都比较大.左边是欠拟合(under...
斯坦福机器学习公开课4-6 4-7标准方程快速解theta
很简单。比如j(theta)是下面的方程通过是导数等于0一步就能求出theta对于下面的j(theta).对每个参数求偏导得到的结果也是最快的。但是实际上对每个求偏导很麻烦。也很费事因此可以用如下的方程来求解当数据量不大的时候可以使用标准方程法。但是梯度下降法始终都可以运用。如果标准方程法中XtX不...