【数据分析实战经验】航空公司客户价值分析 LRMFC 模型（K-means聚类，工具python)
简单介绍聚类算法属于无监督学习的一种，而其中KMeans算法是比较常用的聚类算法。主要思想是: 1、在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中。 2、 所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)。 3...
spark（8）spark案例之WordCount、点击流日志分析、写入数据到mysql/hbase、IP地址查询
案例1：使用Java实现spark的wordCount案例需求：单词计数第一步：创建maven工程，引入依赖 <dependencies> <...
《R语言与农业数据统计分析及建模》学习——数据读入
一、工作目录 # 获取当前工作目录getwd()# 改变工作目录为指定路径下的文件夹# 注意工作目录的表达方式setwd('D:/R_class')setwd('D:\\R_class') 二、文件路径 读取文件中的数据首先要确定文件路径，如果文件不在工作目录下，则必须使用绝对路径 1、文件路径：一...
干货实操！人人都能学会的Excel数据分析方法
无论是刚入门的数据分析小白，但是工作多年的数据工程师，学会用Excel做数据分析总是...
《数据分析的统计基础》学习笔记（二） 描述性统计分析
前言：进行之前需要安装SPSS，office 2013。2.1 名词解释 2.1.1 直方图（Histogram） 又称质量分布图。是一种统计报告图，由一系列高度不等的纵向条纹或线段表...
数据分析与挖掘
一、数据分析与挖掘 一、数据分析与挖掘概述1、数据分析与挖掘定义及关系数据分析：对已知的数据进行分析，然后提取出一些有价值的信息。比如统计出平均数、标准...
基于Matlab的密度散点图绘制-从数据分析到完整出图
在计算两幅图像像元水平上的相关性时，由于图像的分辨率高，导致直接画散点图根本就体现不出来大致的趋势，因此需要用密度散点图来进行刻画。散点密度图的核心是在x和y的范围...
缓存与数据库的数据一致性解决方案分析-二、解决方案
不同业务场景下的数据一致性模型 强一致性、弱一致性和最终一致性是描述数据在多个地点或系统中如何保持同步的术语。它们各自对应不同的系统设计和应用场景。下面是这三种一致性级别的详细分析： 1. 强一致性（Strong Consistency） 强一致性是最严格的一致性模型，要求系统在进行了更新后，...
数据库中文乱码及分析
向数据库插入中文字符好乱码问题数据库出现乱码主要是因为服务器端与客户端，或者是数据库本身编码不同造成的。主要的情况如下：一.mysql数据库的问题测试：使用mysql -u root -p登录数据库，输入 我这个是改完之后的，保证所有的都是utf8.mysql> show varia...
python数据分析的学习总结（一）
本篇文章是作者对常国珍著的python数据科学的学习的干货总结。数据链接：链接：https://pan.baidu.com/s/1Qy9cc5-vTHkwQVDEd7x_dg 提取码：m0p9 本篇文章主要有以下四个部分：目录1.数理统计技术概论2.数据挖掘技术与方法3.预测类模型4.描述性分析 1...
数据分析必会工具之SmartPLS
SmartPLS是一款功能强大且非常实用的偏最小二乘结构方程建模软件，是目前管理学、市场营销、组织行为学、信息系统等领域应用广泛的软件，其原理是采用偏最小二乘法（Partial Least Square，PLS）进行统计分析，并且使用起来也很简单，也很适合初学者使用。SmartPLS 2可以免费试用...
spark学习笔记2（使用spark Sql进行离线数据分析项目）
网站日志分析实战.项目一、 用户行为日志概述1. 用户访问、浏览、搜索、点击等行为都会被记录在网站的服务器上。2. 用户的访问信息主要包括如下内容：（1）系统属性。（操作系统、浏览器）（...
spark数据分析引擎
简介spark是专为大规模数据处理而设计的快速通用的计算引擎 .spark既可以批处理也可以做流式处理spark运行速度比mapreduce快大约10倍 . 在机器学习 ,人工智能的逻辑回归迭代算法场景下spark运行速度比mapreduce大约快100多倍 .mapreduce在计算过程中涉及到本...
R语言在大气污染数据分析中的应用-时间序列分析（一）
作者简介作者：戴启立，系南开大学在读博士生统计与编程语言 团队邮箱：[email protected] 受益于免费、开源以及程序化的数据挖掘和可视化上的方法学优势，R语言逐渐在学术界和工业界展现出其强大的工具支撑作用而受到了广泛的追捧。在大气环境领域，随着近年来我国环境空气质量监测体系的不断发展...
数据分析在旅游业中如何应用？
众所周知，现在人们的生活水平提高了，于是很多人在闲暇时间会出去旅游，以前的旅游业还是很好做的，因为那时候的人们对于景点没有那么挑剔，然而现在不同，人们对于景点的要求越来越高了，这就使得旅游公司对人们的喜好做出一个调查。怎么做调查呢？做问卷调查是不太可能的，毕竟工作量太大，而且还会花费大量的资金。那么...
【钛坦白】清华大学李建：深度学习在时空大数据分析中的应用（转载）
本文转自http://www.tmtpost.com/2579314.html 发于 2017-03-10 13:32，相对较新吧！以下根据李建在钛坦白的分享实录整理： 大家好，我是李建，目前是清华大学交叉信息研究院的助理教授、博士生导师，也是杉数科技的合作科学家。很高兴认识大家，并在这里进行分享。...
快手HBase在千亿级用户特征数据分析中的应用与实践
声明：本文的原文是来自Hbase技术社区的一个PPT分享，个人做了整理和提炼。大家注意哈，这种会议PPT类的东西能学习到的更多的是技术方案和他人在实践过程中的经验。希望对大家有帮助。背景快手每天产生数百亿用户特征数据，分析师需要在跨30-90天的数千亿特征数据中，任意选择多维度组合(如:城市=北京&...
最新AI模型与Python技术处理和分析气候数据：ChatGPT在大气科学领域建模、数据分析、可视化与资源评估中的高效应用及论文写作
本文深度探讨人工智能在大气科学中的应用，特别是如何结合最新AI模型与Python技术处理和分析气候数据。课程介绍包括GPT-4等先进AI工具，旨在帮助大家掌握这些工具的功能及应用范围。课程内容覆盖使用GPT处理数据、生成论文摘要、文献综述、技术方法分析等实战案例，使学员能够将AI技术广泛应用于科研工...
大数据面试题知识点分析（十一）之Flume面试真题及答案
一般情况下面试大数据岗位的时候都会问到flume，我们之前也对flume进行过总结，不过时间太快了，转眼到了2020年。下面根据本人最新的flume相关面试并总结最准确的答案如下：本文目录一、Flume的Source，Sink，Channel的作用？你们Source是什么类型？1.1、首先各组件的作...
基于基站定位数据的商圈分析
基于基站定位数据的商圈分析目录基于基站定位数据的商圈分析实验介绍实验背景实验目标实验分析方法与过程分析流程数据抽取分析数据抽取数据分析数据预处理数据规约数据变换模型构建——层次聚类算法层次聚类模型分析由于本书中很多没有给出最原始的数据。多是处理过程中的数据，失去了很多做数据特征工程的训练。以后会更加...