ShuffleNet v2算法详解

时间:2024-03-25 08:03:41

论文地址:https://arxiv.org/pdf/1807.11164.pdf

ShuffleNet v1的升级版,文中提供了如何建立weights-light网络的四条准则,并做实验进行了详细的分析,并依照这四点建议,在v1的基础上修改ShuffleNet block

先看图对比shuffleNet v2的效果。对比了GPU和ARM平台下的速度和准确率的分布情况。作者提出:单一的FLOPs(认为这个指标是间接的)不能准确的说明模型的速度,因此应该有其他更加直接的指标来衡量模型的速度。其一是MAC(memory access cost:内存访问消耗时间),其二是:platform(平台:GPU,CPU,ARM);接着就做了四个实验来证明自己的观点,同时这四个实验就是作者提出的建立轻量级网络的准则

ShuffleNet v2算法详解

一、Equal channel width minimizes memory access cost (MAC).

实验是关于卷积层的输入输出特征通道数对MAC指标的影响。

结论是卷积层的输入和输出特征通道数相等时MAC最小,此时模型速度最快。

证明:

FLOPs数:输入通道为c1,输出通道为吃c2,特征尺寸为h*w,卷积核大小为1*1, B为FLOPs数

ShuffleNet v2算法详解

存储空间:因为是1*1卷积,所以输入特征和输出特征的尺寸是相同的,这里用h和w表示,其中hwc1表示输入特征所需存储空间,hwc2表示输出特征所需存储空间,c1c2表示卷积核所需存储空间。

ShuffleNet v2算法详解

将上述两个式子带入下式,就是均值不等式(c1-c2)^2 >=0ShuffleNet v2算法详解

实验结果

ShuffleNet v2算法详解

二、Excessive group convolution increases MAC.

关于卷积的group操作对MAC的影响。

结论是过多的group操作会增大MAC,从而使模型速度变慢。

证明:g为分组数

ShuffleNet v2算法详解

实验结果 

ShuffleNet v2算法详解

三、Network fragmentation reduces degree of parallelism.

模型设计的分支数量对模型速度的影响。

结论是模型中的分支数量越少,模型速度越快。

实验结果:x-fragment-series表示一个block中有x个卷积层串行

ShuffleNet v2算法详解

四、Element-wise operations are non-negligible

关于element-wise操作对模型速度的影响。

结论是element-wise操作所带来的时间消耗远比在FLOPs上的体现的数值要多,因此要尽可能减少element-wise操作。

实验结果:下图是作者多ShuffleNet v1和MobileNet v2的集中操作做了时间的分析
ShuffleNet v2算法详解

shrot-cut就是ResNet网络中的short-cut结构

ShuffleNet v2算法详解

ShuffleNet v2的结构

图c是shuffleNet v2的结构图,先做了一个通道的分割,对应实验一的结论。比如说,左半部分的shortcut为c,则有半部分为c`, (c+c` = 输入通道数);取消了1*1卷积,对应实验二的结论;concat操作以后做通道shuffle。最后做通道shuffle的原因也是为了通道之间信息交流。

ShuffleNet v2算法详解

具体网络结构图

ShuffleNet v2算法详解

结果

ShuffleNet v2算法详解

ShuffleNet v2算法详解

*号表示在每一个shuffleNet block之前做一个3*3的DW conv

ShuffleNet v2算法详解