deeplearning.ai之卷积神经网络

时间:2022-12-14 17:35:08

1. 卷积层的优点:

deeplearning.ai之卷积神经网络

2. 经典网络架构介绍

LeNet-5

deeplearning.ai之卷积神经网络

  • 池化层为均值,而目前主流为max
  • 激活函数为sigmod或者tanh,而目前主流为relu

AlexNet

deeplearning.ai之卷积神经网络

  • Local Response Normalization(LRN):
    认为网络不需要那么多高激活神经元,因此将某些位置进行归一化处理(即对某点所有通道上的值进行归一化)。

VGG-19

deeplearning.ai之卷积神经网络

  • VGG网络的特征是简单,只使用3x3的卷积层和2x2的池化层。

ResNet

deeplearning.ai之卷积神经网络

deeplearning.ai之卷积神经网络

  • 通过添加跳跃连接,改变了模块的输出。当w与b均接近0时,该模块作用消失;否则,认为学习到了一些有用的特征。通过这种特性,可以避免网络加深性能变差的现像!
  • 若a[l+1]与a[l]维度不一致,则在需a[l]前乘上一个转换矩阵W,保证与a[l+1]维度一致!

GoogleNet

deeplearning.ai之卷积神经网络

deeplearning.ai之卷积神经网络

  • 使用Inception模块,可以让网络自己决定使用卷积层的大小(通过核参数值决定)。
  • GoogleNet在网络中间添加输出层预测结果,可以防止过拟合和缓解梯度消失学习困难的问题!

3. 提高识别率的Tips

deeplearning.ai之卷积神经网络
- 10-crop:即取待检测图像及其镜像图像中心子区域及四角子区域,共计10张子图进行检测,将平均检测结果作为最终识别结果!

4. Face Recognition

人脸验证

deeplearning.ai之卷积神经网络

实质上是利用CNN提取人脸特征,然后进行特征匹配:

deeplearning.ai之卷积神经网络

人脸验证的损失函数:
其中,A是特定人的人脸图,P也是该人的人脸图,视为正样本,N不是该人的人脸图,视为负样本!

deeplearning.ai之卷积神经网络

5. Neural Style Transfer

deeplearning.ai之卷积神经网络

寻找各层九个最大的激活图像区域:

deeplearning.ai之卷积神经网络

deeplearning.ai之卷积神经网络

损失函数定义:

deeplearning.ai之卷积神经网络

内容图像损失函数:

deeplearning.ai之卷积神经网络

风格图像损失函数:

deeplearning.ai之卷积神经网络

构建gram矩阵,计算各激活层间的相关性:

deeplearning.ai之卷积神经网络

deeplearning.ai之卷积神经网络