1 LMS 学习规则_解方程组
1.1 LMS学习规则举例
X1=[0 0 1]T，t1=0；X2=[1 0 1]T，t2=0；X3=[0 1 1]T，t3=0；X1=[1 1 1]T，t1=1。
设权值分别为ω1，ω2，ω3。
将输入和权值组合得方程组：
ω1*0+ω2*0+ω3*1=0；
ω1*1+ω2*0+ω3*1=0；
ω1*0+ω2*1+ω3*1=0；
ω1*1+ω2*1+ω3*1=0。
可将该线性方程组写成矩阵的形式：
[0 0 1;1 0 1;0 1 1;1 1 1] * [ω1 ω2 ω3]T=[0 0 0 1]T。
则[ω1 ω2 ω3]T=pinv([0 0 1;1 0 1;0 1 1;1 1 1])*[0 0 0 1]T=[0.5 0.5 -0.25]T。
1.2 LMS学习规则迭代更新公式推导
在实际运算中，经常通过迭代的方式求解W权值，迭代方式通常采用梯度下降法：
给定代价函数 E(ω) = 0.5*e2(n)
式中，e(n) = t(n) - XT(n)*ω(n) ，e(n)表示误差，t(n)表示期望（目标）值，XT(n)*ω(n)表示实际值。
上式两边对ω求偏导数 ∂E/∂ω = e(n)*∂e(n)/∂ωωωω∂