深度信念网络
深度信念网络(deep belief network,DBN)是由多层限制玻尔兹曼机(restricted Boltzmann machine,RBM)网络和一层反向传播(back-propagation,BP)网络组成的,如图1所示。在深度信念网络中,上一层RBM网络经过学习得到的特征输出作为下一层的输入,使每层能更好地抽象出上一层的特征,逐层提取数据特征。而顶层的BP网络以RBM网络提取的特征作为输入,用于分类或者预测。
图 1 深度信念网络结构
RBM由可视层V和隐层H构成,如图2所示。可视层用于输入特征数据,隐层用于特征检测器。可视层与隐层层内各节点彼此之间无连接,即每个节点取值相互独立。隐层各节点只能随机取值0或者 1,同时全概率分布P (V,H)满足玻尔兹曼分布,通过全概率分布可以确定条件分布p (h|v)和p (v|h)。当输入v时,通过p (h|v)可以得到隐层h,而得到隐层h之后,通过p (v|h)又能得到可视层,通过调整参数,使得从隐层得到的可视层v'与原来的可视层 v一样,即得到隐层为可视层的另外一种表达。因此,隐层可以作为可视层输入数据的特征。
图 2 RBM结构
RBM在给定模型参数(θ)条件下的联合分布为:
其中
为归一化因子,能量函数E定义为:
其中,i,j为节点;Wij为可视层单元和隐层单元之间的连接权值;bi和aj为偏置量。
BP神经网络由输入层、隐层和输出层三层神经元组成,其结构如图3所示。DBN中的BP网络可以理解为有监督学习的分类器。
图 3 BP网络结构
BP网络中,隐层节点的输出
其中,aj为神经元阈值;f为激励函数,一般取Sigmoid函数。输出节点的输出
其中,bk为神经元阈值;Tjk为隐层节点与输出层节点之间的连接强度。