【基础知识五】神经网络NN

时间:2021-08-27 09:04:13

常用模型:BP神经网络,RBF神经网络

一、神经元模型 |  连接权,阈值,激活函数

【基础知识五】神经网络NN

1. 输入信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,

然后通过“激活函数”处理以产生神经元的输出。#“激活函数”对应于图中f(.)

2. 激活函数理想中是阶跃函数,实际中常用连续可微的Sigmoid函数代替——

【基础知识五】神经网络NN

#神经元等价于“对数回归”模型

3. 把许多个神经元按一定的层次结构连接起来,就得到了神经网络。

从数学角度看,神经网络是

【基础知识五】神经网络NN

二、感知机与多层网络 |  如何解决非线性可分

1. 感知机由两层神经元组成(即不含隐层,只有输入、输出层)

2. 学习过程中,权重这样调整:

【基础知识五】神经网络NN

η∈(0, 1)称为学习率,控制每次更新的步长

3. 可以证明,样本若是线性可分的,则感知机的学习过程一定会收敛而求得适当的权重ω

否则感知机学习过程将会发生振荡,不能求得合适解。

4. 解决非线性可分问题,需使用多层功能神经元,即含有“隐含层”神经元的网络

神经元之间不存在同层连接,也不存在跨层连接

这种结构称为“多层前馈神经网络”,前馈不是指信号不能向后传而是指网络拓扑结构上不存在环或回路;

【基础知识五】神经网络NN

隐层与输出层包含功能神经元,图(a)通常称为“两层网络”

神经网络“学”到的东西,蕴涵在连接权重与阈值中。

#

SVM看成一种特殊的神经元模型:

  1. L-SVM本质上跟单神经元(即逻辑回归)模型的最大差别,只是代价函数的不同,所以可以将SVM也理解成一种神经元,只不过它的激活函数不是sigmoid函数,而是SVM独有的一种激活函数的定义方法。
  2. K-SVM只是比起L-SVM多了一个负责用于非线性变换的核函数,这个跟神经网络的隐层的思想也是一脉相承的。所以K-SVM实际上是两层的神经元网络结构:第一层负责非线性变换,第二层负责回归。
  3. 《基于核函数的SVM机与三层前向神经网络的关系》一文中,认为这两者从表达性来说是等价的。(注:这里的“三层前向神经网络”实际上是带一个隐层的神经网络,说是三层是因为它把网络的输入也看成一个层。

三、误差反向传播算法

BP神经网路,BP算法训练的多层前馈神经网络

1. 算法:通过输出误差(y'-y)反向去调整权重ωi(和阈值)

BP是一个迭代学习算法

1)学习率η控制迭代中的更新步长,太大容易振荡,太小收敛速度过慢;

2)BP算法基于梯度下降策略,对参数ω进行调整,对误差Ek,给定学习率η,有

【基础知识五】神经网络NN

3)迭代过程循环进行,知道达到某些停止条件,例如训练误差已达到一个很小的值;

2. 如何选择隐层神经元个数?

可以证明,只需一个包含足够多神经元的隐层,多层前馈网络就能以任意精度逼近任意复杂度的连续函数。

如何选择隐层神经元个数仍是未决问题,实际中靠“试错法”

3.缓解BP网络过拟合的策略

1)“early stopping”,将数据分成训练集和验证集,训练集来计算梯度、更新连接权和阈值,验证集用来估计误差,若训练集误差降低但验证集误差升高,则停止训练,同时返回具有最小验证集误差的连接权和阈值

2)“正则化”:在误差目标函数中增加一个用于描述网络复杂度的部分

四、全局最小与局部极小

优化:对于神经网络在训练集上的误差E,调整连接权ω和阈值θ,使得E全局最小

但是基于梯度的搜索,在局部极小值停止

采用以下方法试图“跳出”局部极小,逼近全局最小——

1)以多组不同参宿初始化多个神经网络,训练后取误差最小的解作为最终参数

2)“模拟退火”技术:以逐渐缩小的概率接受“次优解”

3)使用随机梯度下降

4)遗传算法

五、其他常见神经网络

RBF:两层网络,使用径向基/高斯函数作为激活函数,能以任意精度逼近任意连续函数

#优点——非线性拟合能力强;局部逼近;具有唯一最佳逼近的特性,且无局部极小问题存在;收敛速度快;结构简单

RBF: 的神经元是一个以gaussian函数为核函数的神经元。

Radial basis function: 【基础知识五】神经网络NN .

          x 是自变量, b: 是bias,一般为固定常数,决定Gaussian函数的宽度。参数意义(对应于libsvm中的gamma)

          w:weight (权重),决定Gaussian 函数的中心点,是一个可变常数。

输出结果: 不再是非0 即1,而是一组很smooth的小数,在特定的weight处具有最大的函数值。

【基础知识五】神经网络NN

“感知域” —— receptive field.

一个神经元,只负责对某一块局部进行响应。速度当然快得多。

ART

SOM

级联相关网络:结构自适应,网络的结构也当作学习的目标之一

六、深度学习

1.模型:很深层的神经网络

2. 如何训练?——难以直接用经典的BP算法训练

解决:“无监督逐层训练”,也即“预训练+微调”;

或者“权共享”策略,典型是CNN

补充:

神经网络是一种很难解释的“黑箱模型”