Deep learning:四十六(DropConnect简单理解)

时间:2023-05-23 18:21:14

  和maxout(maxout简单理解)一样,DropConnect也是在ICML2013上发表的,同样也是为了提高Deep Network的泛化能力的,两者都号称是对Dropout(Dropout简单理解)的改进。

  我们知道,Dropout是在训练过程中以一定概率1-p将隐含层节点的输出值清0,而用bp更新权值时,不再更新与该节点相连的权值。用公式描述如下:

Deep learning:四十六(DropConnect简单理解)

  其中v是n*1维的列向量,W是d*n维的矩阵,m是个d*1的01列向量,a(x)是一个满足a(0)=0的激发函数形式。这里的m和a(Wv)相乘是对应元素的相乘。

  而DropConnect的思想也很简单,与Dropout不同的是,它不是随机将隐含层节点的输出清0,而是将节点中的每个与其相连的输入权值以1-p的概率清0。(一个是输出,一个是输入)

  其表达式如下:

 Deep learning:四十六(DropConnect简单理解)

  两者的区别从下图基本可以看明白:

  Deep learning:四十六(DropConnect简单理解)

  其原理还是很简单,是吧?

  下面主要来看DropConnect的trainning和inference两部分。

  training部分和Dropout的training部分很相似,不过在使用DropConnect时,需要对每个example, 每个echo都随机sample一个M矩阵(元素值都是0或1, 俗称mask矩阵)。training部分的算法流程如下:

  Deep learning:四十六(DropConnect简单理解)

  注意:因为DropConnect只能用于全连接的网络层(和dropout一样),如果网络中用到了卷积,则用patch卷积时的隐层节点是不使用DropConnect的,因此上面的流程里有一个Extract feature步骤,该步骤就是网络前面那些非全连接层的传播过程,比如卷积+pooling.

  DropConnect的inference部分和Dropout不同,在Dropout网络中进行inference时,是将所有的权重W都scale一个系数p(作者证明这种近似在某些场合是有问题的,具体见其paper)。而在对DropConnect进行推理时,采用的是对每个输入(每个隐含层节点连接有多个输入)的权重进行高斯分布的采样。该高斯分布的均值与方差当然与前面的概率值p有关,满足的高斯分布为:

  Deep learning:四十六(DropConnect简单理解)

  inference过程如下:

  Deep learning:四十六(DropConnect简单理解)

  由上面的过程可知,在进行inference时,需要对每个权重都进行sample,所以DropConnect速度会慢些。

  根据作者的观点,Dropout和DropConnect都类似模型平均,Dropout是2^|m|个模型的平均,而DropConnect是2^|M|个模型的平均(m是向量,M是矩阵,取模表示矩阵或向量中对应元素的个数),从这点上来说,DropConnect模型平均能力更强(因为|M|>|m|)。

  DropConnect的源代码可以在作者项目主页DropConnect project page.上下载,不过需要用到Cuda(我这里没设备,没有跑它)。

  参考资料:

Deep learning:四十五(maxout简单理解)

Regularization of Neural Networks using DropConnect, Li Wan,Matthew Zeiler, Sixin Zhang, Yann LeCun, Rob Fergus.

Deep learning:四十一(Dropout简单理解)

DropConnect.ppt

DropConnect project page.