Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读

时间:2024-04-03 15:20:05

InceptionV4: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning


0.简介

文章的标题说明了文中具体做的3件事情:

  1. 提出了Inception-V4;
  2. 结合Inception与ResNet结构提出Inception-ResNet
  3. 讨论了 Residual Connections 的影响

Inception结构在低计算量有着良好的性能。Residual connection不同于传统网络结构,性能和Inception-v3相近。作者尝试将Inception结构和Residual connection结合,提出了新的网络结构Inception-v4与Inception-ResNet进行对比实验。residual connections可以提高Inception网络的准确率,并不会提高计算量;residual connection并不是训练very deep network的必要条件,但可以显著的加快训练的速度采。用3个带有residual connection的Inception模型和1个Inception v4模型,在ImageNet分类比赛中,ensembles 的top-5的错误率为3.08%。
笔记中不在对ResNet,Inception做相关介绍,具体见[ResNet][InceptionV3]

1.模型

基于Inception-v3和Inception-v4,文中分别得到了Inception-ResNet-v1和Inception-ResNet-v2两个模型。文中涉及到的三种网络结构如下:
Inception-V4:
Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读

Inception-ResNet-V1:

Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读

Inception-ResNet-V2:
Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读

其中三种网络模型中ReductionA 的四个参数:
Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读

实验

首先文中提到当卷积核超过1000个的大网络训练时,将残差(residuals)缩小(Scaling)有助于训练的稳定性。这个做法同原始ResNet论文中的two-phase training的效果类似,不过随着卷积核数量超过1000,warm up 方法已经不能解决该问题。
收敛速度比较
Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读

模型效果

Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读

Inception-ResNet and the Impact of Residual Connections on Learning 论文阅读
证实带有Residual Connection的Inception 收敛速度更快,与不带的最终结果相当。

总结

本文将ResNet与Inception结合得到了很好的效果,从本文中,可以更加具体的理解ResNet与Inception的异同,最终的实验结果证明,Inception模型是可以学习ResNet中所说的恒等变换,不过需要更多的训练iter,证明了Incepton与ResNet的有效性。文中图很多,看起来也很乱。。。。。。。。