Vgg16 + Unet 介绍

时间:2024-04-09 10:19:08

VGG-16:

这个数字16,就是指在这个网络中包含 16个卷积层和全连接层,随着网络的加深,图像的高度和宽度都在以一定的规律不断缩小,每次池化后刚好缩小一半,而通道数量在不断增加,而且刚好也是在每组卷积操作后增加一倍。也就是说,图像缩小的比例和通道数增加的比例是有规律的

专注于构建卷积层的简单网络:

  1. 首先用3×3,步幅为1的过滤器构建卷积层
  2. padding参数为same卷积中的参数,
  3. 然后用一个2×2,步幅为2的过滤器构建最大池化层

Vgg16 + Unet 介绍

各层参数具体结构:

Vgg16 + Unet 介绍

Unet:

Vgg16 + Unet 介绍

Unet的左侧是convolution layers,右侧则是upsamping layers,

convolutions layers中每个pooling layer前一刻的activation值会concatenate到 对应的upsamping层的activation值中因为

Unet左侧部分和resnet、vgg、inception等模型一样,都是通过卷积层来提取图像特征,

所以Unet可以采用resnet/vgg/inception + upsampling的形式来实现,这样做好处是可以利用pretrained的成熟模型来加速Unet的训练,要知道transfer training(迁移学习)的效果是非常显著的。

Unet,Vgg16  创新:

Unet的encode过程实际上是特征提取的过程,如果我们把他的encode过程单独拎出来,会发现其与vgg16高度相似

可以通过改写Unet的encode,可以将类vgg结构改写为效果更好的resnet,再结合Unet的基本框架结构,来更好的提取特征

Unet :

  1. 下采样+上采样: Convlution + Deconvlution/Resize 

  2. 多尺度特征融合: 特征逐点相加/特征channel维度拼接

  3. 获得像素级别的segement map: 对每一个像素点进行判断类别