线性回归最常用的是以最小二乘法作为拟合方法,但是该方法比较容易受到强影响点的影响,因此我们在拟合线性回归模型时,也将强影响点作为要考虑的条件。对于强影响点,在无法更正或删除的情况下,需要改用更稳健的拟合方法,最小一乘法就是解决此类问题的方法。
最小二乘法由于采用的是残差平方和,而强影响点的残差通常会比较大,在平方之后会更大,而最小一乘法不使用平方和而采用绝对值之和,因此对于强影响点的残差来说,其影响会小很多。
我们通过一个例子来比较当强影响点出现时,最小二乘法和最小一乘法的拟合效果,在SPSS中,最小二乘法作为回归分析的默认拟合方法,而最小一乘法或其他拟合方法,则需要手动设置。
首先做散点图来初步判断
分析—回归—非线性
我们现在将两个结果进行对比,
用最小二乘法得到的回归模型为:y=124.7782+12.266*x1+3.78*x2
用最小一乘法得到的回归模型为:y=9.441+19.563*x1+3.024*x2
两者系数除了符号一致,在数值上均有差别,特别是常数项,差别最大,那么到底哪个模型拟合度较好呢?由于两种拟合方法的实施方法不同,因此不能直接比较决定系数、剩余标准差等指标,但是我们可以通过残差图来进行比较,如下