【统计学习2】线性回归：RSS，TSS，T检测，F检测，假设检验
++++++++++++++++++++++参考众多文章++++++++++++++++++++++第一：假设检验以抛硬币来说H0 假设【假设】：硬币是公平【出现正反概率各为1/2】Ha 假设【检验】：硬币是有问题整个假设检验过程，是在H0假设条件下，进行试验，如果推导出自相矛盾的结论，那么就拒绝H...
Eviews的基本使用，简单线性回归分析
数据如下：1、建立工作表2、由于数据是截面数据，选择Unstructured/Undated3、数据有31行，Data range中填31，点击OK4、输入数据在命令框输入data X Y后回车出现如下界面5、将数据填写进去6、估计参数在EViews命令框中输入“LS Y C X”，按回车，即出现回...
回归分析的五个基本假设
回归分析的五个基本假设最近读到一篇很棒的文章，介绍了回归分析的五个基本假设，假设失效的影响及检验方法，现总结归纳如下。为己乃梳理巩固，亦期能有助于各位。综述回归分析是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型。以便通过观察特定变量（自变量），来预...
线性回归、岭回归、lasso回归、弹性网络回归算法，附带python实现
线性回归算法简介线性回归，就是利用数理统计中的回归分析，来确定两种或两种以上变量间，相互依赖的定量关系的一种统计分析方法。线性回归试图学得：求解w和b的关键在于衡量f(xi)与yi之间的差别.由于均方误差是回归任务中最常用的性能度量，因此可以试图让均方误差最小化：求解它可以利用最小二乘法和梯度下降方...
R 利用回归分析与时间序列预测北京市PM2.5
摘要现代社会科技进步，人们的生活质量逐步提高，但伴随着各类工业和科技的发展，环境问题凸显，最初人们粗放式的经济发展方式在一定程度上对环境造成不可逆转的破坏。在各种环境污染问题，空气污染问题又是如今人们关注的重中之重。北京是我国首都，同时也是我国空气污染较为严重的几个北方城市之一，因此关注北京市空气污...
逻辑回归算法梳理
逻辑回归与线性回归的联系与区别线性回归用一组变量的（特征）的线性组合，来建立与结果之间的关系。模型表达：y(x,w)=w0+w1x1+…+wnxn逻辑回归逻辑回归用于分类，而不是回归。在线性回归模型中，输出一般是连续的， 对于每一个输入的x，都有一个对应的输出y。因此模型的定义域和值域都可以是无穷。...
支持向量回归
支持向量回归现在我们来考虑支持向量机得回归问题对于样本(x,y)(\bm{x},y)(x,y)，传统的回归模型通常直接基于输出f(x)f(\bm{x})f(x)与真实输出yyy之间的差别来计算损失，当且仅当f(x)f(\bm{x})f(x)和yyy完全相同时，损失才为零。于此不同，支持向量回归(SV...
Logistic回归的基本思想与公式推导
讲前小碎话Logistic回归是一种线性分类模型，通常用来解决线性二分类或多分类问题。无论是在李航老师的《统计学习方法》书中，还是在吴恩达老师的机器学习课程中，都是先假设随机变量x服从Logistic分布，即有如下的分布函数和概率密度函数：可是为什么定义这样的分布函数和概率密度函数，对于初学者来说，...
集成k-最近邻(k-NN)、朴素贝叶斯、Logistic回归、支持向量机(SVM)、决策树、随机森林、多层感知机的一个机器学习示例
(1) 创建机器学习所需环境python版本为Python 3.6.2**NumPy：**用于使用Python进行数值处理。**PIL：**一个简单的图像处理库。**scikit-learn：**包含我们今天要介绍的机器学习算法。Keras和**TensorFlow：**深度学习，后续使用，本篇博客...
机器学习小白学习笔记---day3---线性模型（岭回归、lasso、线性模型【svm、logistic回归】）
机器学习小白学习笔记之scikit-learn最近刚把西瓜书啃完，一大堆理论让脑子真的是一团浆糊，说实话看的基本只有一个概念哈哈哈，效果不高，但是让我对与机器学习真的是整体有了一个大的了解，但是并没能将每个课后作业都完成，甚至很多公式推导也没实现，太难了，让我着手于实践，古人云实践出真知，又拿起了另...
双色球机器学习线性回归蓝球预测案例
听闻有个同事每天买**，想到机器学习用来预测**也是不错的。于是今天尝试了下（事先声明，最后测试发现一点也不准，所以。。。别想太多了。。哈哈）具体代码如下：首先我在某**网站上找到了大量双色球的历史数据，然后复制下来大体是这样的然后开始写代码，一如既往的，导包，读数据，填充缺失值，然后看看数据运行输...
机器学习中的回归(regression)与分类(classification) 的理解(区别)
举几个例子:一、二、讨论一下时间序列模型三、用通俗一点的话可以概括为：分类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。举个例子：预测明天的气温是多少度，这是一个回归任务；预测明天是阴、晴还是雨，就是一个分类任务。...
核技巧（Kernel Trick）与支持向量回归（SVR）详解
核技巧（Kernel Trick）与支持向量回归（SVR）详解第十五次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇内容来自于《机器学习》和林轩田《技法》以及自己的一些理解。这篇文章首先对表示定理（Representor Theorem）进行介绍和证...
利用Weka进行线性回归预测
一、实验目的和内容 （一）实验目的和内容 利用Weka对现有数据进行短期预测。先利用excel和weka软件将数据记性预处理，再将数据载入weka中，开始创建模型并进行预测。通过本实验，掌握Weka软件的使用，对数据创建模型并预测。从而掌握回归分析的基本思想和方法。 （二）背景知识 1、Weka W...
岭回归、Lasso及其分析
基本概念前段我们讨论了线性回归模型的原理策略，假定可以表示为 f(xi)=∑k=1nwkxik+w0=wxi 其损失函数为： J(w)=12m∑i=1m(yi−f(xi))2=12m||y−Xw||2最小二乘法求解可以得到最优解： w=(XTX)−1XTy在讨论ridge regression 和 ...
应用回归分析之岭回归（Ridge Regression，RR）
一、岭回归估计的定义1.1普通最小二乘法带来的问题当自变量间存在复共线性时，回归系数估计的方差就会很大，从而导致估计值不稳定1.2岭回归的定义岭回归（Ridge Regression，RR），当自变量之间存在复共线性时，约等于0，给加上一个正常数矩阵,(),那么接近奇异的程度就会比小的多，考虑到变量...
多因子量化选股模型的筛选和评价：打分法与回归法
多因子选股模型在模型搭建中，往往会涉及到非常多的股价影响因子，并可能导出数量极多的备选模型。因此，对于多因子选股模型的评价和筛选，就显得尤为关键。对于专业的量化投资人而言，就需要进一步了解多因子选股模型的两种主要的评价判断方法——打分法和回归法。 1、打分法的评价原理和流程 所...
LASSO回归之特征选择
MLE --framework – MAPMLE:argmaxP(D∣θ)MLE:argmax P(D|\theta)MLE:argmaxP(D∣θ)MAP:argmaxP(θ∣D)MAP:argmaxP(\theta|D)MAP:argmaxP(θ∣D) = argmaxP(D∣θ)P(θ)arg...
Tableau进行时间序列、线性回归
Tableau进行时间序列、线性回归一、线性回归第一步，打开“全球超市订单数据.xlsx”；第二步，生成折线图。将“订购日期”放入列，选择“月，”“销售额”放入行；第三步，构建趋势线。在图中，右击，选择“显示趋势线”；第四步，显示趋势线公式。首先，点击趋势线，右击，选择“描述趋势线”；然后，复制里面...
Logestic回归算法笔记
Logestic回归算法笔记前言对于分类问题，比如二分类，输出y一共分为负类（记为0）和正类（记为1），即 y∈{0,1}。如果使用线性回归的方式解决，如果存在与同类样本中特征差别较大的个体，可能导致的得到的假设函数 hθ(x)h_θ(x)hθ(x) (θ为待优化参数） 的分类效果较差。Loges...