Day3 《机器学习》第三章学习笔记
这一章也是本书基本理论的一章，我对这章后面有些公式看的比较模糊，这一会章涉及线性代数和概率论基础知识，讲了几种经典的线性模型，回归，分类（二分类和多分类）任务。3.1 基本形式给定由d个属性描述的示例 x =（x1；x2；… ；xd）,其中xi是x在第i个属性上的取值，线性模型（linear mod...
[机器学习] Coursera ML笔记 - 逻辑回归（Logistic Regression）
引言机器学习栏目记录我在学习Machine Learning过程的一些心得笔记，涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等。主要学习资料来自Standford Andrew Ng老师在Coursera的教程以及UFLDL Tutorial，Stanford CS231n等在线课...
吴恩达《机器学习》课程笔记——第六章：Matlab/Octave教程
上一篇 ※※※※※※※※ 【回到目录】 ※※※※※※※※ 下一篇这一章的内容比较简单，主要是MATLAB的一些基础教程，如果之前没有学过matlab建议直接找一本相关书籍，边做边学，matlab的编程入门还是比较容易的。在这里想讲一下matlab和Python的区别：吴恩达教授在刚开始教机器...
机器学习实战 - 读书笔记(12) - 使用FP-growth算法来高效发现频繁项集
[comment]: # 机器学习实战 - 读书笔记(12) - 使用FP-growth算法来高效发现频繁项集前言最近在看Peter Harrington写的“机器学习实战”，这是我的学习心得，这次是第12章 - 使用FP-growth算法来高效发现频繁项集。基本概念FP-growth算法FP-gr...
机器学习&数据挖掘笔记_24（PGM练习八：结构学习）
前言：本次实验包含了2部分：贝叶斯模型参数的学习以及贝叶斯模型结构的学习，在前面的博文PGM练习七：CRF中参数的学习 中我们已经知道怎样学习马尔科夫模型(CRF)的参数，那个实验采用的是优化方法，而这里贝叶斯模型参数的学习是先假定样本符合某种分布，然后使用统计的方法去学习这些分布的参数，来达到学习...
机器学习&数据挖掘笔记（常见面试之机器学习算法思想简单梳理）
机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）作者：tornadomeet 出处：http://www.cnblogs.com/tornadomeet前言：找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，...
机器学习&数据挖掘笔记_12（对Conjugate Gradient 优化的简单理解）
数学优化方法在机器学习算法中至关重要，本篇博客主要来简单介绍下Conjugate Gradient(共轭梯度法，以下简称CG)算法，内容是参考的文献为：An Introduction to the Conjugate Gradient Method Without the Agonizing Pai...
Andrew Ng机器学习课程笔记（六）之 机器学习系统的设计
Andrew Ng机器学习课程笔记（六）之 机器学习系统的设计版权声明：本文为博主原创文章，转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7392408.html前言这篇博客主要记录了Andrew Ng课程第6章机器学习系统的设计，Andrew用他的丰富经验讲...
[转]机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）
机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）转自http://www.cnblogs.com/tornadomeet/p/3395593.html前言：找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如...
机器学习&数据挖掘笔记_25（PGM练习九：HMM用于分类）
前言：本次实验是用EM来学习HMM中的参数，并用学好了的HMM对一些kinect数据进行动作分类。实验内容请参考coursera课程：Probabilistic Graphical Models 中的的最后一个assignmnet.实验用的是kinect关节点数据，由于HMM是一个时序模型，且含有隐...
机器学习&数据挖掘笔记_15（关于凸优化的一些简单概念）
没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性...
机器学习&数据挖掘笔记_14（GMM-HMM语音识别简单理解）
为了对GMM-HMM在语音识别上的应用有个宏观认识，花了些时间读了下HTK（用htk完成简单的孤立词识别）的部分源码，对该算法总算有了点大概认识，达到了预期我想要的。不得不说，网络上关于语音识别的通俗易懂教程太少，都是各种公式满天飞，很少有说具体细节的，当然了，那需要有实战经验才行。下面总结以下几点...
斯坦福机器学习视频笔记 Week7 支持向量机 Support Vector Machines
SVM被许多人认为是最强大的“黑箱”学习算法，并通过提出一个巧妙选择的优化目标，今天最广泛使用的学习算法之一。Optimization Objective根据Logistic Regression，有如下表述：为了达到尽量好的分类效果，我们需要theta‘*x >> 0 or theta...
Stanford机器学习笔记-3.Bayesian statistics and Regularization
3. Bayesian statistics and RegularizationContent3. Bayesian statistics and Regularization.3.1 Underfitting and overfitting.3.2 Bayesian statistics and...
<转>机器学习笔记之奇异值分解的几何解释与简单应用
看到的一篇比较好的关于SVD几何解释与简单应用的文章，其实是有中文译本的，但是翻译的太烂，还不如直接看英文原文的。课本上学的往往是知其然不知其所以然，希望这篇文能为所有初学svd的童鞋提供些直观的认识吧。A sigular value decomposition目录(?)[-]Introductio...
【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 10—Advice for applying machine learning 机器学习应用建议
Lecture 10—Advice for applying machine learning10.1 如何调试一个机器学习算法？有多种方案：1、获得更多训练数据；2、尝试更少特征；3、尝试更多特征；4、尝试添加多项式特征；5、减小 λ；6、增大 λ为了避免一个方案一个方案的尝试，可以通过评估机器学...
基于kNN的手写字体识别——《机器学习实战》笔记
看完一节《机器学习实战》，算是踏入ML的大门了吧！这里就详细讲一下一个demo:使用kNN算法实现手写字体的简单识别kNN先简单介绍一下kNN,就是所谓的K-近邻算法：【作用原理】：存在一个样本数据集合、每个样本数据都存在标签。输入没有标签的新数据后，将新数据的每个特征与样本集数据的对应特征进行比较...
机器学习技法笔记：11 Gradient Boosted Decision Tree
RoadmapAdaptive Boosted Decision TreeOptimization View of AdaBoostGradient BoostingSummary of Aggregation ModelsSummary...
Ng机器学习笔记-1-一元线性回归
一：回归模型介绍从理论上讲，回归模型即用已知的数据变量来预测另外一个数据变量，已知的数据属性称为输入或者已有特征，想要预测的数据称为输出或者目标变量。下图是一个例子：图中是某地区的面积大小与房价的关系图，输入变量X是面积，输出变量Y是房价，把已有的数据集(x,y)作为一个训练数据，拟合出线性回归模型...
AI学习笔记：人工智能与机器学习概述
一、人工智能基本概念1.1 基本概念数据分析：对历史规律的展现、对未来数据的预测。机器学习：机器学习是指从一系列的原始数据中找到规律，提取人们可以识别的特征，然后通过学习这些特征，最终产生一个模型。流程：原始数据-->特征提取-->模型。机器学习偏向于算法。人工智能：Artificial...