学习笔记TF052:卷积网络,神经网络发展,AlexNet的TensorFlow实现

时间:2021-02-18 19:45:21

卷积神经网络(convolutional neural network,CNN),权值共享(weight sharing)网络结构降低模型复杂度,减少权值数量,是语音分析、图像识别热点。无须人工特征提取、数据重建,直接把图片作输入,自动提取特征,对平移、比例缩放、倾斜等图片变形具有高度不变形。卷积(convolution),泛函数分析积分变换数学方法,两个函数f和g生成第三个函数数学算子,表征函灵敏f与g翻转、平移重叠部分面积。f(x)、g(x)为R1两个可积函数。积分新函数为函数f与g卷积。∫-∞+∞f(τ)g(x-E)dτ。

神经网络(neural networks,NN)包括输入层、隐藏层、输出层。卷积神经网络隐藏层分为卷积层和池化层(pooling layer 下采样层)。卷积层的卷积核(conventional kernel)在原始图像平移提取特征,每个特征是特征映射。池化层汇聚特征稀疏参数减少学习参数数量,降低网络复杂度。最大值池化(max pooling)、平均值池化(average pooling)。卷积核提取特征映射动作padding,移动步长(Stride)不一定整除图像素宽度,越边边缘取样为SAME,不越过边缘取样为VALID。

Necognitron->LeCun->LeNet->AlexNet
->网络加深:VGG16->VGG19
->增强卷积层功能:NIN->GoogleNet->Incption V3 Incption V4 ->
二者结合ResNet
->分类任务到检测任务:KCNN->FastRCNN->Faster-CNN
->增加新功能模块:FCN->STNet->CNN+RM/LSTM
卷积神经网络起点神经认知机(neocognitron)模型,出现卷积结构。第一个卷积神经网络模型LeCun,1989年,发明人LeCun。论文 http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf。径向基函数(radial basis function RBF)。1998年,LeCun,LeNet。http://vision.stanford.edu/cs598_spring07/papers/Lecun98.pdf。SVM 手工设计特征分类器。ReLU,Dropout ,GPU,大数据,2012年历史性突破AlexNet。

网络加深。

LeNet。输入层32x32,图像预处理reshape,潜在明显特征出现在最高层特征监测卷积核中心。卷积层3个(C1、C3、C5),增强原信号特征、降低噪音,在线演示: https://graphics.stanford.edu/courses/cs178/applets/convolution.html 不同卷积核输出特征映射不同。降采样层2个(S2、S4),降低网络训练参数、模型过拟合程度,最大池化(max pooling)选中区域最大值,平均值池化(mean pooling)选中区域平均值。全连接层1个(F6),输入向量和权重向量点积加偏置,传给sigmoid函数,产生单元i状态。输出层(高斯连接),欧式径向基函数(Euclidean radial basis funtion)单元,10个类别对应10个径向基函数单元,每个单元84个输入,输出RBF单元计算输入向量和类别标记向量欧式距离,越远越大。

AlexNet,2012年,Geoffrey Hintion及学生Alex Krizhevsky、Ilya Sutskever,《ImageNet Classification with Deep Convolutional Neural Networks》。不同GPU处理图像的不同部分,仅在部分层通信。5个卷积层,3个全连接层,5000万个可调参数。最后全连接层输出到1000维softmax层,产生覆盖1000类标记分布。防止过拟合,Dropout 0.5概率隐藏层神经元输出置0,共享权值,降低互适应,收敛迭代次数增加一倍。数据增强(data augmentation)变形(水平翻转图像、反射变化flip,原始图像随机平移变换crop,随机光照、彩色变换、颜色抖动)增加新数据。非线性激活函数,ReLU,收敛速度比sigmoid/tanh快。大数据训练,120万ImageNet图像数据。GPU实现,直接从GPU内存读出、写入。LRN(local response normalization)规范化层。

增强卷积层功能。

VGGNet,Karen simonyan、Andrew Zisserman 《Very Deep Convolutional Networks for Large_Scale Visual Recognition》http://www.robots.ox.ac.uk/~vgg/research/very_deep/ 。5个卷积组(8-16层)、2层全连接层图像特征,1层全连接分类特征。加深卷积层数达到准确率提升瓶颈。

GoogleNet。NIN(Network in Network)思想,Min Lin、Qiang Chen、Shuicheng Yan论文《Network In Network》https://arxiv.org/abs/1312.4400 。线性卷积层(linear convolution layer)变多层感知卷积层(multilayer perceptron),全连接层改为全局平均池化。2014年 GoogleNet(Inception V1),Christian Szegedy、Wei Liu论文《Going Deeper with Convolutions》https://arxiv.org/abs/1409.4842 。使用1x1卷积核降维,在全连接层连接1x1、3x3、5x5卷积结果。宽度、深度扩大,加速。层数更深,22层,不同深度增加两上损失函数避免反向传播梯度消失。增加多种大小卷积核,降维Inception模型,1x1卷积核降低特征映射厚度。

结合网络加深和增强卷积模块功能。

ResNet。2015年,ILSVRC不依赖外部数据物体检测、物体识别项目冠军,MSRA 何凯明,152层。ImageNet 分类、检测、定位、COCO数据集检测(deteciton)、分隔(segmentation)冠军。Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun《Deep Residual Learning for Image Recognition》 https://arxiv.org/abs/1512.03385 。网络退化(network degradation),shortcut结构,输入跳层传递加卷积结果。残差(residual),复杂非线性映射H(x)预测图片分类,残差函数(residual function)F(x)=H(x)-x,优化残差映射比直接优化H(x)简单。

从分类任务到检测任务。图片目标检测,视频目标检测(VID)。

R-CNN,Region Proposal Networks(RPN)和CNN结合。RPNs,任意尺寸图片一系列带识别物体概率分数建议区域。使用小网络在最后卷积特征映射滑动扫描,滑动网络每次与特征映射窗口全连接,映射到低维向量,送入两个全连接层(box回归层box-regression layer和box分类层box-classification layer)。重复计算,几千个建议区域(region)互相重叠,多次重复提取特性。
Fast R-CNN,加速版本,最后建议区域映射CNN最后卷积层特征映射,一张图片只提取一次特征,提高速度,瓶颈在RPN,支持多类物体同时检测,行人车辆检测技术。
Fater-R-CNN,RPN交给CNN做,达到实时。Shaoqing Ren、Kaiming He、Ross Girshick、Jian Sun论文《Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks》 https://arxiv.org/abs/1506.01497 。

增加新功能模块。

FCN(反卷积)、STNet、CNN与RNN/LSTM混合结构。

MNIST AlexNet实现。网络结构图。
1、仔细研读网络论文,理解每一层输入、输出值、网络结构。
2、按照加载数据、定义网络模型、训练模型、评估模型步骤实现网络。

https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/convolutional_network.py 。
https://github.com/tensorflow/models/blob/master/tutorials/image/alexnet/alexnet_benchmark.py 。

#!/usr/bin/python
# -*- coding:utf8 -*-
# 输入数据
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)
import tensorflow as tf
# 定义网络超参数
learning_rate = 0.001
training_iters = 20000
batch_size = 128
display_step = 10
# 定义网络参数
n_input = 784 # 输入的维度(img shape:28x28)
n_classes = 10 # 标记的维度(0-9 digits)
dropout = 0.75 # Dropout 的概率,输出可能性
# 占位符输入
x = tf.placeholder(tf.float32, [None, n_input])
y = tf.placeholder(tf.float32, [None, n_classes])
keep_prob = tf.placeholder(tf.float32) #dropout
# 卷积操作
def conv2d(name, x, W, b,strides=1):
x = tf.nn.conv2d(x, W, strides=[1, strides, strides, 1], padding='SAME')
x = tf.nn.bias_add(x, b)
return tf.nn.relu(x, name=name) #用relu激活函数
# 最大下采样操作
def maxpool2d(name, x, k=2):
return tf.nn.max_pool(x, ksize=[1, k, k, 1], strides=[1, k, k, 1], padding='SAME', name=name)
# 规范化操作
def norm(name, l_input, lsize=4):
return tf.nn.lrn(l_input, lsize, bias=1.0, alpha=0.001 / 9.0, beta=0.75, name=name)
# 所有的网络参数
weights = {
'wc1': tf.Variable(tf.random_normal([11, 11, 1, 96])),
'wc2': tf.Variable(tf.random_normal([5, 5, 96, 256])),
'wc3': tf.Variable(tf.random_normal([3, 3, 256, 384])),
'wc4': tf.Variable(tf.random_normal([3, 3, 384, 384])),
'wc5': tf.Variable(tf.random_normal([3, 3, 384, 256])),
'wd1': tf.Variable(tf.random_normal([4*4*256, 4096])),
'wd2': tf.Variable(tf.random_normal([4096, 4096])),
'out': tf.Variable(tf.random_normal([4096, 10]))
}
biases = {
'bc1': tf.Variable(tf.random_normal([96])),
'bc2': tf.Variable(tf.random_normal([256])),
'bc3': tf.Variable(tf.random_normal([384])),
'bc4': tf.Variable(tf.random_normal([384])),
'bc5': tf.Variable(tf.random_normal([256])),
'bd1': tf.Variable(tf.random_normal([4096])),
'bd2': tf.Variable(tf.random_normal([4096])),
'out': tf.Variable(tf.random_normal([n_classes]))
}
# 定义AlexNet网络模型
def alex_net(x, weights, biases, dropout):
# 向量转为矩阵
x = tf.reshape(x, shape=[-1, 28, 28, 1])
# 第一卷积层
# 卷积
conv1 = conv2d('conv1', x, weights['wc1'], biases['bc1'])
# 最大池化(向下采样)
pool1 = max_pool('pool1', conv1, k=2)
# 规范化(归一化)
norm1 = norm('norm1', pool1, lsize=4)
# 第二卷积层
# 卷积
conv2 = conv2d('conv2', conv1, weights['wc2'], biases['bc2'])
# 最大池化(向下采样)
pool2 = max_pool('pool2', conv2, k=2)
# 规范化(归一化)
norm2 = norm('norm2', pool2, lsize=4)
# 第三卷积层
# 卷积
conv3 = conv2d('conv3', conv2, weights['wc3'], biases['bc3'])
# 最大池化(向下采样)
pool3 = max_pool('pool3', conv3, k=2)
# 规范化(归一化)
norm3 = norm('norm3', pool3, lsize=4)
# 第四卷积层
conv4 = conv2d('conv4', conv3, weights['wc4'], biases['bc4'])
# 最大池化(向下采样)
pool4 = max_pool('pool4', conv4, k=2)
# 规范化(归一化)
norm4 = norm('norm4', pool4, lsize=4)
# 第五卷积层
conv5 = conv2d('conv5', conv4, weights['wc5'], biases['bc5'])
# 最大池化(向下采样)
pool5 = max_pool('pool5', conv4, k=2)
# 规范化(归一化)
norm5 = norm('norm5', pool5, lsize=4)
# 第一全连接层,先把特征图转为向量
fc1 = tf.reshape(norm5, [-1, weights['wd1'].get_shape().as_list()[0]])
fc1 = tf.add(tf.matmul(fc1, weights['wd1']), biases['bd1'])
fc1 = tf.nn.relu(fc1)
# Dropout
fc1 = tf.nn.dropout(fc1, dropout)
# 第二全连接层
fc2 = tf.reshape(fc1, [-1, weights['wd1'].get_shape().as_list()[0]])
fc2 = tf.add(tf.matmul(fc2, weights['wd1']), biases['bd1'])
fc2 = tf.nn.relu(fc2)
# Dropout
fc2 = tf.nn.dropout(fc2, dropout)
# 网络输出层
out = tf.add(tf.matmul(fc2, weights['out']), biases['out'])
return out
# 构建模型
pred = alex_net(x, weights, biases, keep_prob)
# 定义损失函数、优化器(学习步长)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=pred, labels=y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)
# 评估函数
correct_pred = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1))
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
# 训练模型和评估模型
# 初始化所有的共享变量
init = tf.global_variables_initializer()
# 开启一个训练
with tf.Session() as sess:
sess.run(init)
step = 1
# 开始训练,直到达到training_iters,即200000
while step * batch_size < training_iters:
# 获取批数据
batch_x, batch_y = mnist.train.next_batch(batch_size)
sess.run(optimizer, feed_dict={x: batch_x, y: batch_y, keep_prob: dropout})
if step % display_step == 0:
# 计算损失值和准确度,输出
loss, acc = sess.run([cost, accuracy], feed_dict={x: batch_x, y: batch_y, keep_prob: 1.})
print "Iter " + str(step*batch_size) + ", Minibatch Loss= " + "{:.6f}".format(loss) + ", Training Accuracy= " + "{:.5f}".format(acc)
step += 1
print "Optimization Finished!"
# 计算测试精度
print "Testing Accuracy:", sess.run(accuracy, feed_dict={x: mnist.test.images[:256], y: mnist.test.labels[:256], keep_prob: 1.})

参考资料:
《TensorFlow技术解析与实战》

欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi