高斯牛顿迭代法

时间:2021-12-31 10:42:51


①已知m个点:高斯牛顿迭代法

②函数原型: 高斯牛顿迭代法

③目的是找到最优解β,使得残差平方和最小:高斯牛顿迭代法 (残差:高斯牛顿迭代法)

④要求最小值,即S的对β偏导数等于0:高斯牛顿迭代法

⑤用迭代法逼近解:高斯牛顿迭代法  其中k是迭代次数,高斯牛顿迭代法是迭代矢量。

⑥而每次迭代函数是线性的,在高斯牛顿迭代法处用泰勒级数展开:

高斯牛顿迭代法

其中:J是已知的矩阵,为了方便迭代,令高斯牛顿迭代法

⑦此时残差表示为:高斯牛顿迭代法

高斯牛顿迭代法

⑧带入公式④有:高斯牛顿迭代法

化解得:高斯牛顿迭代法

⑨写成矩阵形式:高斯牛顿迭代法

⑩所以最终迭代公式为:高斯牛顿迭代法  其中,Jf是函数f=(x,β)对β的雅可比矩阵。