《Multi-Frame Video Super-Resolution Using Convolution Neural Networks》 读书笔记

论文地址

MSE $MSE$定义

MSE(Y^,Y)=1213HW∑i=1H∑j=1w∑k=13(Y^ijk−Yijk)2 $$MSE(\hat{Y},Y)=\frac{1}{2}\frac{1}{3HW}\underset{i=1}{\overset{H}{\sum }}\underset{j=1}{\overset{w}{\sum }}\underset{k=1}{\overset{3}{\sum }}({\hat{Y}}_{ijk}-Y_{ijk}{)}^2$$

PSRN $PSRN$定义

PSRN(Y^,Y)=20log(s)−10logMSE(Y^,Y) $$PSRN(\hat{Y},Y)=20\log (s)-10\log MSE(\hat{Y},Y)$$

s $s$ 为像素最大可能值

SSIM $SSIM$定义

SSIM(Y^,Y)=(2μY^μY+c1)(2σY^Y+c2)(μ2Y^+μ2Y+c1)(σ2Y^+σ2Y+c2) $$SSIM(\hat{Y},Y)=\frac{(2{\mu }_{\hat{Y}}{\mu }_Y+c_1)(2{\sigma }_{\hat{Y}Y}+c_2)}{({\mu }_{\hat{Y}}^2+{\mu }_Y^2+c1)({\sigma }_{\hat{Y}}^2+{\sigma }_Y^2+c2)}$$

s $s$为像素最大可能值， μY ${\mu }_Y$为 Y $Y$的均值， σ2Y ${\sigma }_Y^2$为方差， σY^Y ${\sigma }_{\hat{Y}Y}$为协方差， c1,c2 $c1,c2$分别为 0.01s2,0.03s2 $0.01s^2,0.03s^2$

在该片论文中，选择 SSIM $SSIM$对模型进行好坏的评价。

框架

网络结构

为了保证能够对任意大小的图像进行super-resolution，在网络结构上使用了全卷积（Full Convolution）。
在输入前使用双三次插值(bicubic interpolation)进行上采样(upsample).在网络中保持图像大小不变。
使用了9层layer，且均使用relu function，同时在训练过程中dropout。
对于每个权重矩阵（weigte matrix），均进行L2 正则化（L2 regularization）。L2 正则化通过在损失函数中增加一些超参数与权重矩阵的MSE的乘积，来限制权重的大小。
以下为L2 正则化的公式：

L2(W)=λ∥W∥22 $$L2(W)=\lambda \Vert W{\Vert }_2^2$$

relu函数公式：

relu(x)=max(0,x) $$relu(x)=max(0,x)$$

dropout 公式：

Dropout(x,p)={x,0,with prob.pwith prob.1−p $$Dropout(x,p)=\{\begin{array}{ll}x,& \text{with prob.}p\\ 0,& \text{with prob.}1-p\end{array}$$

训练算法

在论文中，使用了Momentum和Adam两种更新算法。两种更新算法的在此不表。

超参数

k $k$为层数，在这里 k=9 $k=9$
ni $n_i$代表第i层的神经元（neuron）个数,
fi $f_i$为第i层卷积核大小

其中 fi∈[1,11],ni∈{8,16,32,64,96} $f_i\in \left[1,11\right],n_i\in \left\{8,16,32,64,96\right\}$
根据机器性能设定上界。
在output layer 中 nk=3 $n_k=3$，保证为RGB三通道。
学习率（learning rate），正则化参数（regularization strength）,丢弃参数（dropout parameter）在此不表

权重初始化

在此不表

单帧与多帧CNN对比

文章中训练了两种不同类型的模型，一种为单帧CNN（SICNN）和多帧CNN（MFCNN）。在SICNN中，文章严格按照上文所述的结构进行建模。而在MFCNN中，文章对模型进行了一定的调整，使得它能够不仅仅参考当前帧，还能参考当前帧的附近d帧。在文章中，MFCNN将临近的 2∗d+1 $2\ast d+1$帧堆叠起来对当前帧进行预测。