【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

时间:2024-03-31 11:36:47

++++++++++++++++++++++

参考众多文章

++++++++++++++++++++++

第一:假设检验

以抛硬币来说

  • H0 假设【假设】:硬币是公平【出现正反概率各为1/2】
  • Ha 假设【检验】:硬币是有问题

整个假设检验过程,是在H0假设条件下,进行试验,如果推导出自相矛盾的结论,那么就拒绝H0假设。

【所谓的自相矛盾,试验结果,在H0假设条件下,出现的概率极小。】

p值:在假设原假设(H0)正确时,出现现状或更差的情况的概率。


1.1  H0假设下,我们知道抛硬币,出现正面的次数,符合二项式分布。

       a、我们抛了10次硬币。

            结果出现8次正面。

       b、查询二项分布表,单侧p值【8,9,10】

            p(8/9/10)=0.05

      这个结果怎么解读?

      在H0假设条件下【硬币公平的】,抛出8次正面及更极端的情况的单侧p值是0.05,如果显著水平0.05,那么我们拒绝改H0假设,而认为硬币是有问题的。


1.2   既然抛了8次正面,为啥还有加上9次正面,10次正面,这两个更极端的的概率? 

  •            一是:p值的定义如此。
  •            二是,一般分布,不好求单点发概率,求区间的概率就很简单,就是那个面积。

       【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验



1.3 显著水平0.05

     其实显著水平是主观定义的值。

     比如我们定义显著水平为0.01。

     那么上例试验p值=0.05,小于显著水平0.01,那么就意味我们没办法拒绝H0假设,需要更多的试验,等p值小于这个0.01的       显著水平,我们就可以拒绝H0假设了。


第二:T检验

2.1、两块麦田,甲和乙,甲麦田传统工艺,乙麦田改进工艺。

     已知甲样本株产量均值μ0=100,样本标准差σ【标准差未知】;

     乙样本n,样本株产量均值X=120,样本标准差s,公式的xi是乙的单株产量【可以把乙的每个单株产量看作是单株均值产量】,x均值是甲的均值,因为甲的总体不知,又因为我们h0假设认为甲乙来自一个总体,所有用乙的单株产量暂代甲的单株常量。

     【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

2.2、假设检验

  •      H0假设【假设】:乙没有改进,甲乙都在一个分布下
  •      Ha假设【检验】:在H0假设下,乙均值X=120,样本标准差s能不能发生?

     已知甲服从µ0=100,标准差 σ未知的正态分布,N(μ0,σ^2)。

    

【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验


2.3、t值的由来

         t统计量公式:

       【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

a、分子=X - μ0,根据正太分布图,跨度为甲的标准差 σ,为了消除跨度的影响,我们将分子除以标准差,得(X - μ0)/σ,又因为甲的σ未知,用乙的s替代,最终为(X - μ0)/s

由于甲的标准差 σ未知,但是我们假设甲乙服从同一个分布,故乙的标准差s来近似。】

****************************************************************************************************************************

我们都以甲乙两个样本的均值、标准差,来近似各自母体的均值、标准差。

****************************************************************************************************************************

b、分母s/√n  意思是:由样本推断总体均值的标准误差(standard error)。

解释:乙样本数,如果极多,那么我们显而易见,乙这个X=120,明细说明乙改进了产量。

          为了在公式中体现样本个数的n的影响,所以我们让分母的s,除以根号n,从而减小分母值,最终使t值增大,来体现样本n的影响。


2.4、t分布

   以上我们求出了t值,那么如何知道t值对应的p值?

a、概率密度函数

  【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

b、分布图

【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

根据*度v=n-1,查表得出对应的p值,看在相应的显著水平下,能否拒绝H0原假设。


第三:最小二乘

****************************************************************************************************************************

1、标准差(Standard Deviation )【反映的是数据点的波动情况】:是表示个体间变异大小的指标,反映了整个样本对样本平均数的离散程度,是数据精密度的衡量指标。

2、标准误差(Standard error)【反映的是均值的波动情况】:指在抽样试验(或重复的等精度测量)中,常用到样本平均数的标准差;反映样本平均数对总体平均数的变异程度,从而反映抽样误差的大小,是量度结果精密度的指标。

解释:随着样本数(或测量次数)n的增大,标准差趋向某个稳定值,即样本标准差s越接近总体标准差σ,而标准误则随着样本数(或测量次数)n的增大逐渐减小,即样本平均数越接近总体平均数μ;

3、置信区间:是样本的某个总体参数的区间估计,这个参数的真实值有一定概率落在测量结果的周围的程度。

4、公式

a、标准差公式:

【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

b、标准误差公式:

  设n个测量值的误差为E1E2……En,则这组测量值的标准误差σ等于:

  【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

  其中,E = Xi − T,式中:E-误差;Xi-测定值;T-真实值。

  由于被测量的真值是未知数,各测量值的误差也都不知道,因此不能按上式求得标准误差。

       测量时能够得到的是算术平均值,它最接近真值(N),而且也容易算出测量值和算术平均值之差,称为残差(记为v)。理论分析表明可以用残差v表示有限次(n次)观测中的某一次测量结果的标准误差σ,其计算公式为:

  【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

  对于一组等精度测量(n次测量)数据的算术平均值,其误差应该更小些。理论分析表明,它的算术平均值的标准误差。有的书中或计算器上用符号s表示):

  【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验


c、标准误是标准差的1/【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验


d、置信区间

β1的95%置信区间=【β1-2SE(β1),β1+2SE(β1)】

****************************************************************************************************************************

最小二乘法:通过RSS最小,确认系数项和截距项的值。

实际中,我们可以得到一批观察数据,从中计算最小二乘线的参数,但是总体的回归直线观察不到。

我们有一组【Y,X】的观测值,共有n个值

其中Y变量对应:y1,y2,y3,,,,,,,,,,,,,yn

X变量对应:x1,x2,x3,,,,,,,,,,,,,,,xn

a、样本均值估计总体均值

那么我们这单一的一组y变量均值µ0,对y总体真实均值µ的估计有多准确?偏离有多远?

整体的回归方程:标准偏差SE(µ0)=σ  / √n

变型:Var(µ0)=σ^2/n

其中:分子σ,是总体观察值yi均值的标准差,由残差标准误RSE估计;分母是样本数量n的根号值。

标准偏差SE(µ0),告诉我们估计 样本均值µ0,偏离总体真实均值µ平均量。

标准差公式,告知我样本数量n越多,偏差越小。

b、探究最小二乘得到的β0、β1,与总体真实的β0、β1接近程度

    SE(β0)

    SE(β1)

c、对标准偏差SE(µ0)的估计是残差标准误RSE/√n【意思是模型正确,且β0、β1真实值,但是依然有偏离】。

     总体观察值yi均值的标准差σ的方差σ^2,由RSS来估计。


第四:线性回归名词

1、残差平方和RSS(residual sum of squares)【别称SSE(Sum of Squares for Error)】

 RSS = Σi=1n (yi - yi^)2

【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

2、残差标准误RSE(residual standard error)

      RSE = √(RSS/(n-2))

3、回归平方和SSR(sum of squares for regression)【别称SSM(Sum of Squares for Model)】

    【别称ESS(explained sum of squares) 】

    SSR = Σi=1n (yi^ - y)2

4、总平方和SST(Sum of Squares Total)

    SST = Σi=1n (yi - y)2

5、一般情况下:总平方和=回归平方和 + 残差平方和

SST=SSR + RSS

证明:维基的证明

解释:SST总平方和表示,数据的总差异,我们知道总差异,两部分组成,可解释的+不可解释的。

          SSR回归平方和表示,数据可解释的差异【也就是回归方程能解释的差异】

          RSS残差平方和,表示不可解释的差异。【回归方程无法解释的】

6、*度【p回归系数的个数】

RSS残差平方和的*度 dfr  = n -p -1

SSR回归平方和的*度 dfm= p 

总平方和的*都           dft = n -1

dft = dfr + drm

============================================================================

在统计学中,*度指的是计算某一统计量时,取值不受限制的变量个数。通常df=n-k。其中n为样本含量,k为被限制的条件数或变量个数,或计算某一统计量时用到其它独立统计量的个数。在估计总体的方差时,使用的是离差平方和。只要n-1个数的离差平方和确定了,方差也就确定了;因为在均值确定后,如果知道了其中n-1个数的值,第n个数的值也就确定了。这里,均值就相当于一个限制条件,由于加了这个限制条件,估计总体方差的*度为n-1。

============================================================================

7、残差平方和均方【不可解释的方差】

     MSR(Mean of Squares for residual)  = RSS / DFR

     回归平方和均方【可解释的方差】

     MSM( Mean of Squares for Model)  = SSR /DFM


第五:线性回归和方差分析

1、方差分析中的分析变量实际上就是线性回归中的因变量,方差分析中的分组变量就是线性回归中的自变量。

     线性回归和方差分析的因变量是一样的,都是连续型资料,

     自变量就不一样了,方差分析中是分类变量,而线性回归中是连续型数据。


2、区别对比【研究ABC三种药物,对肺活量影响,分三组,每组5个试验个体,目的自然是看三种药物是否有区别,也就是看3组因变量间的差异是否显著】

a、方差分析

【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

b、改成线性回归的样子

【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验

3、解释

怎么样,这种形式跟线性回归的形式差不多了吧?

y就是因变量,x就是自变量。唯一与线性回归不同的地方是:线性回归中的x和y是一一对应的

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

【方差齐性检测【不同样本的方差大致相等】,线性回归中,因为我们无法对【x1,y1】这对数据做方差齐性分析,因为x1只对应一个y1,但是真实总体上,一个x1值可以对应无数个y1的值,只是总体谁也不知。实际操作中,我们只好看残差分布图,如果是随机分布,那么我们认为满足方差齐性检测。】

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

而方差分析的x和y是一对多的,即1个x对应多个y值,但这不影响分析。

其实即使在线性回归中,偶尔也会出现一对多的现象的。比如体重对肺活量的影响,如果有好几个人体重相同而肺活量不同,就出现了一对多的现象。这就跟方差分析更像了。

最后加点总结性的、理论性的东西,一般线性模型的形式大致可以这样:

y=α+βx+ε,

这个其实大家都应该很熟悉了,在统计教材中的线性回归章节中一般都有这个公式。这里的y就是因变量,x就是自变量,但是这里需要注意的就是,x是分类变量的时候,就变成了方差分析的形式了,当x是连续型变量的时候,就变成了线性回归的形式了。


第六:线性回归的T检验

检测对象:单个回归系数参数是否显著为0。

构造原理:检测的系数是否足够接近0值?服从的分布是t分布。

前提条件:方差齐性检测【不同样本的方差大致相等】,线性回归中,因为我们无法对【x1,y1】这对数据做方差齐性分析,因为x1只对应一个y1,但是真实总体上,一个x1值可以对应无数个y1的值,只是总体谁也不知。实际操作中,我们只好看残差分布图,如果是随机分布,那么我们认为满足方差齐性检测。

如果残差分布呈有规律,那么我们要做变换,比如log变换,,各自核函数等等


线性回归:y = β1 * x + β0  + e

                 y = 8*x + 6  + e


  •      H0假设【假设】:β1=0
  •      Ha假设【检验】:如果在β1=0条件下,求出β1的值是否极小概率的事情?

T检验的原始公式:

【统计学习2】线性回归:RSS,TSS,T检测,F检测,假设检验   

线性回归T检验公式:

t=(β1 - 0)/  SE(β1 )   

其中:SE(β1 ) 指的是回归系数的β1的标准偏差。


第七:线性回归的F检

============================================================================

定义:F检验又叫方差齐性检验,主要通过比较两组数据的方差 S^2,以确定他们的分布是否有显著性差异。至于两组数据之间是否存在系统误差,则在进行F检验并确定它们的分布没有显著性差异之后,再进行t检验。

其他解释:其中一点是看残差方差与样本方差相比是不是足够缩小,说明大部分样本信息已经包含在了主体模型当中。

============================================================================

构造原理:从离差平方和分解公式出发,以回归平方和均方/残差平方和均方比值,推断解释变量整体对被解释变量的线性关系是否显著。

检测对象:整个方程所有回归系数是否全部显著为0的检测。


线性回归:y =  β0  +  β1 * x + β2 * x ,,,  βp * x + e

  •      H0假设【假设】:β1=β2=βp=0
  •      Ha假设【检验】:至少有一个β不为0, H0假设【假设】条件下,F检验呈现卡方分布

F检验公式=MSM/MSR

               =(SSR/p)  /  (RSS/n-p-1)  

               = 可以解释的 / 不明原因的【个体带来的残差】

F检测的结果,查表p值,看能否拒绝原假设。

如果拒绝,那么说明至少有一个β不为0.

此外:一元线性回归中,F=T^2。参考链接:百度文档