机器学习笔记——人工神经网络(2)

代价函数

变量定义
L $L$：神经网络的总层数
sl $s_l$：第 l $l$层的单元（神经元）数量
K $K$：输出层的单元数量

逻辑回归的代价函数（正则化）

神经网络的代价函数

J(Θ)=−1m∑i=1m∑k=1K[y(i)klog((hΘ(x(i)))k)+(1−y(i)k)log(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θ(l)j,i)2 $$\begin{array}{c}J(\mathrm{\Theta })=-\frac{1}{m}\underset{i=1}{\overset{m}{\sum }}\underset{k=1}{\overset{K}{\sum }}\left[y_k^{(i)}\log ((h_{\mathrm{\Theta }}(x^{(i)}){)}_k)+(1-y_k^{(i)})\log (1-(h_{\mathrm{\Theta }}(x^{(i)}){)}_k)\right]+\frac{\lambda }{2m}\underset{l=1}{\overset{L-1}{\sum }}\underset{i=1}{\overset{s_l}{\sum }}\underset{j=1}{\overset{s_{l+1}}{\sum }}({\mathrm{\Theta }}_{j,i}^{(l)}{)}^2\end{array}$$

第一部分是将输出层K个单元的逻辑回归代价函数进行累加，第二部分是正则化部分，类比与逻辑回归，不含偏置项的正则化。

反向传播算法

我们的目标是最小化代价函数，即 minΘJ(Θ) $\underset{\mathrm{\Theta }}{min}J(\mathrm{\Theta })$，需要计算 ∂∂Θ(l)i,jJ(Θ) $\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{i,j}^{(l)}}J(\mathrm{\Theta })$
反向传播算法用来计算 ∂∂Θ(l)i,jJ(Θ) $\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{i,j}^{(l)}}J(\mathrm{\Theta })$

反复使用链式求导

---

Θ(l)i,j ${\mathrm{\Theta }}_{i,j}^{(l)}$表示 l $l$层第 j $j$个神经元连接到 l+1 $l+1$层第 i $i$个神经元的权重；
a(l)j $a_j^{(l)}$表示第 l $l$层第 j $j$个神经元的输出
z(l)j $z_j^{(l)}$表示第 l $l$层第 j $j$个神经元的输入
l $l$层第 j $j$个神经元产生的误差定义为 δ(l)j ${\delta }_j^{(l)}$
对输入的一个样本，输出层代价函数

J(Θ)=12∑j(hΘ(x)j−yj)2=12∑j(a(L)j−yj)2 $$J(\mathrm{\Theta })=\frac{1}{2}\underset{j}{\sum }(h_{\mathrm{\Theta }}(x{)}_j-y_j{)}^2=\frac{1}{2}\underset{j}{\sum }(a_j^{(L)}-y_j{)}^2$$

输出层第 j $j$ 个神经元的误差为

δ(L)j=∂J(Θ)∂a(L)j∂a(L)j∂z(L)j $${\delta }_j^{(L)}=\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{a}_j^{(L)}}\frac{\mathrm{\partial }{a}_j^{(L)}}{\mathrm{\partial }{z}_j^{(L)}}$$

由后向前计算隐层产生的误差

δ(l)j=∂J(Θ)∂z(l)j=∑i∂J(Θ)∂z(l+1)i∂z(l+1)i∂a(l)j∂a(l)j∂z(l)j=∑iδ(l+1)i∂(Θ(l)ija(l)j)∂a(l)jh′(z(l)j)=∑iδ(l+1)iΘ(l)ijh(z(l)j)(1−h(z(l)j)) $$\begin{array}{rl}{\delta }_j^{(l)}& =\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{z}_j^{(l)}}\\ & =\underset{i}{\sum }\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{z}_i^{(l+1)}}\frac{\mathrm{\partial }{z}_i^{(l+1)}}{\mathrm{\partial }{a}_j^{(l)}}\frac{\mathrm{\partial }{a}_j^{(l)}}{\mathrm{\partial }{z}_j^{(l)}}\\ & =\underset{i}{\sum }{\delta }_i^{(l+1)}\frac{\mathrm{\partial }({\mathrm{\Theta }}_{ij}^{(l)}{a}_j^{(l)})}{\mathrm{\partial }{a}_j^{(l)}}{h}^{\prime }(z_j^{(l)})\\ & =\underset{i}{\sum }{\delta }_i^{(l+1)}{\mathrm{\Theta }}_{ij}^{(l)}h(z_j^{(l)})(1-h(z_j^{(l)}))\end{array}$$

权值的梯度计算

∂J(Θ)∂Θ(l)ij=∂J(Θ)∂z(l+1)i∂z(l+1)i∂Θ(l)ij=δ(l+1)ia(l)j $$\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(l)}}=\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{z}_i^{(l+1)}}\frac{\mathrm{\partial }{z}_i^{(l+1)}}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(l)}}={\delta }_i^{(l+1)}{a}_j^{(l)}$$

---

给出一个训练集，设 Δ(l)i,j:=0,for all(l,i,j) ${\mathrm{\Delta }}_{i,j}^{(l)}:=0,forall(l,i,j)$；
对从t=1到m的样本作如下操作：

1. 令 a(1):=x(t) $a^{(1)}:=x^{(t)}$

2. 执行前向传播计算 a(l), for l=2,3,4,⋯,L $a^{(l)},forl=2,3,4,\cdots ,L$
   

3. 使用实际值 y(t) $y^{(t)}$，计算误差 δ(L)=a(L)−y(t) ${\delta }^{(L)}=a^{(L)}-y^{(t)}$
   

4. 反向传递误差，计算各层的误差 δ(L−1),δ(L−2),⋯,δ(2) ${\delta }^{(L-1)},{\delta }^{(L-2)},\cdots ,{\delta }^{(2)}$
   

   g′(z(l))=a(l).∗(1−a(l)) $g^{\prime }(z^{(l)})=a^{(l)}.\ast (1-a^{(l)})$
   不考虑输入层的误差

5. 计算更新 Δ(l)i,j ${\mathrm{\Delta }}_{i,j}^{(l)}$
   
   矩阵D累加所有样本的误差值得到最终的偏导数

   ∂∂Θ(l)i,jJ(Θ)=D(l)ij $$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{i,j}^{(l)}}J(\mathrm{\Theta })=D_{ij}^{(l)}$$

   D(l)ij $D_{ij}^{(l)}$为 Θ(l)ij ${\mathrm{\Theta }}_{ij}^{(l)}$的偏导数，具有相同矩阵尺寸

δ(l)j ${\delta }_j^{(l)}$的计算

我们简化考虑不是多类别分类的情况，即只有两种类别的情况，代价函数可以简化为

δ(l)j ${\delta }_j^{(l)}$是 a(l)j $a_j^{(l)}$(即第 l $l$层第 j $j$个神经元输出的误差)，实际上是代价函数的偏导数，即

类似于前向传播， δ(l)j ${\delta }_j^{(l)}$的计算由右向左传递误差 δ $\delta$,左边一层的 δ $\delta$由右面一层的 δ $\delta$乘以传递路线的权重值得到，比如计算Layer2的 δ(2)2 ${\delta }_2^{(2)}$，由Layer3的 δ(3)1,δ(3)2 ${\delta }_1^{(3)},{\delta }_2^{(3)}$f分别乘以各自的权重 Θ(2)12,Θ(2)22 ${\mathrm{\Theta }}_{12}^{(2)},{\mathrm{\Theta }}_{22}^{(2)}$再相加得到，即

δ(2)2=Θ(2)12δ(3)1+Θ(2)22δ(3)2 $${\delta }_2^{(2)}={\mathrm{\Theta }}_{12}^{(2)}{\delta }_1^{(3)}+{\mathrm{\Theta }}_{22}^{(2)}{\delta }_2^{(3)}$$

再比如

δ(3)2=Θ(3)12δ(4)1 $${\delta }_2^{(3)}={\mathrm{\Theta }}_{12}^{(3)}{\delta }_1^{(4)}$$

梯度检验

反向传播算法在计算梯度时可能会出现错误，需要使用梯度检测来检测算法的正确性。

神经网络中的 Θ $\mathrm{\Theta }$是矩阵形式，在变成计算时通常展开成向量形式

近似计算导数
ϵ $ϵ$取非常小的值，比如 ϵ=10−4 $ϵ={10}^{-4}$。当 ϵ $ϵ$趋向0的时候，其实就是导数的定义。
多类别的情况，可以类似近似计算

代码计算

epsilon = 1e-4;
for i = 1:n,
  thetaPlus = theta;
  thetaPlus(i) += epsilon;
  thetaMinus = theta;
  thetaMinus(i) -= epsilon;
  gradApprox(i) = (J(thetaPlus) - J(thetaMinus))/(2*epsilon)
end;

若反向传播算法计算正确，反向传播得到的结果deltaVector与梯度检验得到的结果应大致相等，即
gradApprox≈deltaVector $gradApprox\approx deltaVector$

一旦检测完反向传播算法正确，在训练分类器之前应该关闭梯度检验。

梯度检验的计算过程非常慢，会占用大量时间。

随机初始化

在神经网络中使用权值全零的初始化，在运行反向传播时会使所有的节点反复更新相同的值
权重矩阵的初始化应该打破对称性，采用随机数进行初始化，即对每一个 Θ(l)ij ${\mathrm{\Theta }}_{ij}^{(l)}$，有 Θ(l)ij∈[−ϵ,ϵ] ${\mathrm{\Theta }}_{ij}^{(l)}\in [-ϵ,ϵ]$
代码

% If the dimensions of Theta1 is 10x11, Theta2 is 10x11 and Theta3 is 1x11.
Theta1 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta2 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta3 = rand(1,11) * (2 * INIT_EPSILON) - INIT_EPSILON;

训练神经网络的过程

只有一层隐藏层的神经网络是比较普遍的，在使用多个隐藏层的神经网络时默认的规则是每个隐藏层包含的单元数量相同，通常情况下，隐藏单元越多效果越好，但计算量也会很大。
训练过程：
1. 随机初始化权重矩阵
2. 执行前向传播算法得到 hΘ(x(i)) $h_{\mathrm{\Theta }}(x^{(i)})$
3. 计算代价函数 J(Θ) $J(\mathrm{\Theta })$
4. 执行反向传播计算偏导数 ∂∂Θ(l)jkJ(Θ) $\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{jk}^{(l)}}J(\mathrm{\Theta })$
5. 使用数值计算进行梯度检验，确保反向传播算法正确后关闭梯度检验
6. 使用梯度下降或其他优化方法最小化代价函数 J(Θ) $J(\mathrm{\Theta })$，求得最优参数 Θ $\mathrm{\Theta }$

首次执行前向传播(FP)和后向传播(BP)，建议采用for循环的形式对没一个样本进行FP和BP，得到 Δ(l)ij ${\mathrm{\Delta }}_{ij}^{(l)}$,
循环完累加 Δ(l)ij ${\mathrm{\Delta }}_{ij}^{(l)}$值，得到偏导数 ∂∂Θ(l)ijJ(Θ) $\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(l)}}J(\mathrm{\Theta })$
D(l)ij:=1m(Δ(l)ij+λΘ(l)ij), if j≠0 $D_{ij}^{(l)}:=\frac{1}{m}({\mathrm{\Delta }}_{ij}^{(l)}+\lambda {\mathrm{\Theta }}_{ij}^{(l)}),ifj\ne 0$
D(l)ij:=1mΔ(l)ij, if j=0 $D_{ij}^{(l)}:=\frac{1}{m}{\mathrm{\Delta }}_{ij}^{(l)},ifj=0$