在监督学习的学习过程中，比较常用的是梯度下降法
但是对于参数较少的训练集来说（约莫1-1000左右个参数），正规方程可能会更加适合
正规方程可以一步到位，直接计算出使代价函数值最低的参数值
而不再需要像梯度下降一样进行迭代
下面给出推导过程
——————————————下面是正文————————————————
一.推导过程
以多变量线性回归为例子，可以将假设函数设定为：
为了使得表达更加鲜明，可以将其用矩阵的形式展示出来：
所以：
由此可知代价函数（其实和单变量线性回归的代价函数是一样的）：
其中代价函数可以等价为：
至于怎么求导出这个公式的参考我手算的过程hiahiahia:
随后将等价的代价函数展开可得：
其中：
所以：
与梯度下降法不同的是，正规方程不需要迭代，而是直接使得代价函数的导数为0即可，从微积分的角度来讲，导数为0即为最小值，所以，对以上公式进行求导：
对此，对矩阵进行求导，本篇文章所用到的求导公式有：
可以求出：
将公式进行化简即可得到正规方程的公式：
