R语言数据分析系列六

时间:2021-12-14 12:56:02

R语言数据分析系列六

上一节讲了R语言作图,本节来讲讲当你拿到一个数据集的时候怎样下手分析,数据分析的第一步。探索性数据分析。

统计量,即统计学里面关注的数据集的几个指标。经常使用的例如以下:最小值,最大值,四分位数,均值,中位数,众数,方差,标准差。极差,偏度,峰度

先来解释一下各个量得含义,浅显就不说了,这里主要说一下不常见的

众数:出现次数最多的

方差:每一个样本值与均值的差得平方和的平均数

标准差:又称均方差,是方差的二次方根。用来衡量一个数据集的集中性

极差:最大值与最小值仅仅差

偏度:相对于正态分布而言假设波峰出如今左边,就表明长尾出如今右边。成为右偏态(正偏态)偏度值>0,分布反之为左偏太(负偏态)偏度值<0

峰度:也是相对于正太分布的。正态分布的峰度为3。假设峰度>3图形越胖,越矮。称为厚尾。峰度<3 图形越瘦,越高,称为瘦尾

本节数据集:

我们採用MASS包的Insurance数据集,该数据集为某保险公司的车险数据。

"District"  "Group"    "Age"      "Holders"  "Claims"

按列一次表示:家庭住址区域。投保汽车排量,投保人年龄,投保人数量,要求索赔的数量

安装包与载入数据集:

install.pacakges('MASS') # 安装包
library(MASS) #载入包
data(Insurance) # 载入数据集
ins <- Insurance #拷贝一份数据

探索行数据分析

R包自带的函数summary能够给出数据的概括:

summary(ins)

District   Group       Age        Holders            Claims

1:16    <1l   :16   <25 :16   Min.   :  3.00   Min.   : 0.00

2:16    1-1.5l:16   25-29:16   1st Qu.: 46.75   1st Qu.:  9.50

3:16    1.5-2l:16   30-35:16   Median : 136.00   Median : 22.00

4:16    >2l   :16   >35 :16   Mean   : 364.98  Mean   : 49.23

3rd Qu.:327.50   3rd Qu.: 55.50

Max.   :3582.00  Max.   :400.00

我们发现对于因子类型向量该方法给出了频度分布,对于连续型变量该方法给出了,最小值。第一四分位数。中位数,均值,第三四分位数,最大值

从结果中我们能够看到Holders列的数据中位数明显远小于均值,这说明这个数据集是个偏数据集,总体数据集中在3——327.5之间。我们能够通过点图来继续查看:

plot(ins$Holders)

R语言数据分析系列六

点图看的可能不是非常直观,我们期望直观的看到数据的变化,能够通过直方图来展示:

col <- c(brewer.pal(9,'YlOrRd')[1:9])
h<-hist(ins$Holders,breaks=12,col=col)
xfit <-seq(min(ins$Holders),max(ins$Holders),length=40)
yfit <-dnorm(xfit,mean=mean(ins$Holders),sd=sd(ins$Holders))
yfit <- yfit*diff(h$mids[1:2]) *length(ins$Holders)
lines(xfit,yfit,col='red',lwd=2)

R语言数据分析系列六

方差与标准差

来计算Holders列的方差和标准差:

var(ins$Holders)
sd(ins$Holders)

事实上单变量的方差和标准差是没有太大意义的。对照才干够看出数据集的异同。

假设我们要分析用户依照年龄分组后的统计值该怎样计算呢。aggregate函数为我们提供了非常好的方法例如以下:

agg<-aggregate(ins[4:5],by=list(age=ins$Age),sd)
pie(agg$Claims,labels=agg$age)
agg

age   Holders    Claims

1  <25  80.41797  16.55181

2 25-29 141.11414  22.63184

3 30-35 177.34353  24.23694

4  >35 941.66603 103.52228

相当于依照age列 group by 后的分组统计量。

R语言数据分析系列六

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY29tYXBsZQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

偏度和峰度:

为了计算偏度和峰度我们能够自己实现函数stat例如以下:

stat <- function(x,na.omit=F){
if(na.omit) x <- x[!is.na(x)]
m<- mean(x)
n<- length(x)
s<- sd(x)
skew <- sum((x-m)^3/s^3)/n
kurt <- sum((x-m)^4/s^4)/n - 3
return(c(n=round(n),mean=m,stdev=s,skew=skew,kurtosis=kurt))
} sapply(ins[4:5],stat)

Holders    Claims

n        64.000000 64.000000

mean    364.984375 49.234375

stdev   622.770601 71.162399

skew      3.127833  2.877292

kurtosis 10.999610  9.377258

我们能够看到,Holders和Claims的偏度都是大于零的,那么就是说明,这两个变量都是正偏态分布也就是说数据偏向左边,而峰度值都非常高。那么说明这两个变量都存在离群点。

同样,我们可以使用的开箱图观察,本节已经介绍,这里不再赘述。

版权声明:本文博主原创文章,博客,未经同意不得转载。