【六 （4）机器学习-回归任务-鲍鱼年龄预测xgboost、lightgbm实战】-一、xgboost简介
XGBoost（Extreme Gradient Boosting）是一种基于梯度提升决策树的优化分布式梯度提升库。它是大规模并行boosting tree（提升树）的工具，它是用于解决许多数据科学问题（如分类，回归，排名等）的有效，便携和灵活的机器学习算法。 XGBoost通过并行化实现了更快的...
局部加权回归Loess对比MFCC三角滤波(吴恩达机器学习中说，Loess算法用到了aircraft的自动驾驶中)
局部加权回归（Loess）：Loess的目标是最小化， 其中的作用是使预测点的临近点在最小化目标函数中贡献大：Loess更加注重临近点的精确拟合。这个算法中最神奇的就是这个w，局部相关性w很像高斯模板中心到边缘（3*sigma+1）/2的局部相关性，也就相关性关注（起作用），其他不关注（不起作用）；...
IHDR：增量式分层判别回归
前面已经介绍了翁巨扬教授两个心智发育框架（IHDR+WWN）的核心算法CCIPCA和CCILCA，下面就IHDR这个框架来做一下详细的介绍，主要参考资料为IHDR原始论文，以及实验室师兄们前期的工作成果。后面再说一下where-what-network系列（先立个flag，希望不是在作死）。...
神经网络分类和回归任务实战
学习方法：torch 边用边学，边查边学 真正用查的过程才是学习的过程 直接上案例，先来跑，遇到什么解决什么 数据集Minist 数据集 做简单的任务 Minist 分类任务 总体代码（可以跑通） from pathlib import Pathimport requestsimport pickl...
简单线性回归（最小二乘法）
0.引入依赖import numpy as npimport matplotlib.pyplot as plt 1.导入数据（data.csv）points = np.genfromtxt('data.csv',delimiter=',')# 提取points中的两列数据，分别作为x,yx=poi...
吴恩达2022机器学习专项课程(一） 5.1 多元特征回归-笔记
1.多元特征回归 从单一的输入特征（如房子的大小）扩展到多个输入特征（如卧室数量、楼层、房龄）。 2.多元特征的符号 右下角j：第几列输入特征。 n：表示输入特征的数量。例如图片里有4种输入特征，因此n=4。 x的向量：表示第i个训练样本的所有特征。例如i=2，训练样本为[1416,3,2,...
回归算法评价标准MSE、RMSE、MAE、R-Squared
一、MSE 均方误差即（真实值-预测值）的平方/测试集个数其实（真实值-预测值）的平方 就是线性回归的损失函数，线性回归的目的就是为了让损失函数最小化。但这种判断方式是会放大误差的，即本身误差越大的平方后会更大。所以从这也可以看出，损失函数是为了减小最大的那个误差。二、RMSE 均方根误差即MSE开...
目标检测模型一：滑动窗口检测器，选择性搜索，R-CNN，边界框回归器
1. 滑动窗口检测器滑动窗口检测器是一种暴力检测方法，从左到右，从上到下滑动窗口，然后利用分类识别目标。这里使用不同大小的窗口，因为一张图片可能展示从不同距离观测检测出不同的目标类型。 滑动窗口从图像中可能剪切出不同大小的图像块，但是很多分类器只取固定大小的图像，所以这些图像是经过变形转换的。但是这...
【深度学习】Softmax回归（二）Python从零开始实现
文章目录概述实现步骤导入需要的包读取数据初始化参数实现softmax运算定义Softmax模型定义损失函数计算准确率对模型进行训练进行测试完整代码和实验结果备注概述本文不使用深度学习框架来构建Softmax模型，从零开始实现Softmax回归，并使用Fashion-MNIXT数据集进行了实验。本文需...
逻辑回归的总结（详细步骤）
什么是逻辑回归？逻辑回归虽然名字中带有回归，但是并不是一个回归模型，而是一个分类模型。逻辑回归的目的就是解决分类问题，最常用的就是解决二分类问题。逻辑回归和线性回归的关系逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（gener...
SPSS Modeler18.0数据挖掘软件教程（三）：逻辑回归分析
SPSS Modeler18.0数据挖掘软件教程（三）：逻辑回归分析1、数据介绍本节教程中将利用SPSS Modeler18.0对电信客户流失数据进行逻辑回归建模,分析客户流失原因，所使用的数据集是SPSS Modeler18.0自带数据集《telo.sav》，本教程所涉及的数据集我也整理了一份放在...
《谁说菜鸟不会数据分析》之回归分析
回归，最初是遗传学中的一个名词，是由英国生物学家兼统计学家Galton首先提出。他在研究人类身高时发现高个子回归于人口的平均身高，矮个子从另一个方向回归于人类平均身高。回归分析是研究自变量与因变量之间数量变化关系的一种方法。主要是通过建立因变量Y与自变量X之间的回归模型，衡量X对Y的影响能力，进而来...
机器学习之多变量线性回归（Linear Regression with multiple variables）
1. Multiple features（多维特征）在机器学习之单变量线性回归（Linear Regression with One Variable）我们提到过的线性回归中，我们只有一个单一特征量（变量）——房屋面积x。我们希望使用这个特征量来预测房子的价格。我们的假设在下图中用蓝线划出：不妨思考...
基于回归分析的股票价格预测
作者：chen_h微信号 & QQ：862251340微信公众号：coderpai介绍由于直接的经济利益，股票价格预测一直吸引着有兴趣投资股票市场和股票交易所的人。它也是金融界的一个重要研究课题。股票市场收益预测是一个非常复杂的问题，取决于公司财务状况和国家政策等诸多因素。这些天股票价格因公...
[统计学笔记] （十）一元线性回归
（十）一元线性回归基本术语回归这一术语最早来源于生物遗传学，由高尔顿（Francis Galton）引入。回归的解释：回归分析是研究某一变量（因变量）与另一个或多个变量（解释变量、自变量）之间的依存关系，用解释变量的已知值或固定值来估计或预测因变量的总体平均值。因变量：自变量： 或，，，……等等。数...
回归问题--基本概念
缘起回归这个问题最先接触的时候是在高中，在高中讲了什么关于回归问题的，我们先回顾一下。··首先先引入了一些单变量的，标量的期望方差等一些概念用来刻画一些统计量。··随后引入了散点图，也就是给定一组（x，y），用作图的方法来在图上标出一系列的点。然后如果这些点的组合大约是一条直线的话，就说这些点满足y...
岭回归原理及代码实现
岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要...
回归分析—岭回归（Ridge Regression）正则化
1.过拟合当样本特征很多，样本数相对较少时，模型容易陷入过拟合。为了缓解过拟合问题，有两种方法：方法一：减少特征数量（人工选择重要特征来保留，会丢弃部分信息）。方法二：正则化（减少特征参数w ^的数量级）。2.正则化（Regularization）正则化是结构风险（损失函数+正则化项）最小化策略的体...
弹性网络（ Elastic Net） 多任务 Lasso回归 MultiTaskLasso
ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型，比如:class:Lasso, 但是又能保持:class:Ridge 的正则化属性.我们可以使用 l1_ratio 参数来调节L1和L2的凸组合(一类特殊的线性组合)。当多个特征和另...
【统计学习2】线性回归：RSS，TSS，T检测，F检测，假设检验
++++++++++++++++++++++参考众多文章++++++++++++++++++++++第一：假设检验以抛硬币来说H0 假设【假设】：硬币是公平【出现正反概率各为1/2】Ha 假设【检验】：硬币是有问题整个假设检验过程，是在H0假设条件下，进行试验，如果推导出自相矛盾的结论，那么就拒绝H...