Multi-Scale Boosted Dehazing Network with Dense Feature Fusion（CVPR2020）
1 简要
1作：西安交通大学
在本文中，作者团队提出了一种基于U-Net架构的具有密集特征融合的多尺度增强去雾网络。 该方法是基于boosting和误差反馈这两个原理设计的，表明它们适用于去雾问题。
1 通过在所提出模型的解码器中加入“Strengthen-Operate-Subtract”增强策略，通过开发了一种简单而有效的增强解码器，以逐步恢复无雾图像。（此类型增强策略源于去噪）
2 为了解决在U-Net架构中保留空间信息的问题，使用反投影反馈方案设计了一个密集特征融合模块。本文表明，密集特征融合模块可以同时纠正高分辨率特征中缺失的空间信息，并利用非邻近特征。（此反投影反馈方案最开始也是在超分方面使用）
2 作者的核心想法
核心点1 ：作者巧妙的将U-net结构中的上下采样看着超分中的上下采样，这样将应用到超分的反投影反馈方案应用到这里了，应用这个方案涉及到多个特征的连接，因此作者基于这个操作，将其称为基于反投影反馈的多尺度的稠密特征融合模块。
核心点2： 作者将U-net的结构的编码阶段每一层特征看作输入，解码阶段每一层特征看作一个输出，这样解码阶段每一层的上采样结果都看作当前特征的下一次迭代的解，因此完美的将惯用于去噪逐步求解的增强策略应用到这里了。而增强策略公式是统一的，就是将当前输入加到上一次输出的结果上，然后作为下一次的输入。为此作者设计了一个SOS模块来表达。
3 论文概要
3．1 动机：对于一个去雾的深层网络，简单地叠加更多的层或使用更宽的层是效率低下的显着的性能增益。因此，针对除雾问题量身定制设计网络模型具有重要的意义和现实意义。（这个动机适用于所有的任务）
3.2 灵感：常用于图像恢复的增强机制和错误反馈机制（换汤不换药，将超分去噪的一些思想借用到去雾上面）。
3．3 创新：图像恢复的增强机制和错误反馈机制 + U-net结构（特征存在不同尺度和上下采样） + 去雾（无巧不成论文）
去雾模型构建（各种退化模型……）雾：在成像形成过程中，大气中浑浊的介质常常会使模糊图像退化。
网络结构
4 提出了两个主要方法（网络模块）SOS 和 DFF
4.1 SOS（Strengthen-Operate-Subtract）
增强策略可替代性比较高，作者自己设计了一个小的单元网络结构。作者把网络的解码器解释为一个图像恢复模块，逐步上采样。
通过将前面的结果与当前输入相结合作为输入逐步细化结果。 作者通过公式证明这样做，通过将前面的结果也作为输入，可以提升下一次的结果。
理论转向网络结构：作者编码器的不同特征解释为不同尺度的输入，将解码器解释为无雾图像恢复模块，即逐层上采样的过程即为结果迭代的过程。（相当于在之前的U-net是长连接上包装了一下，多加了一个操作）
因此需要设计一个网络模块来表达这个增强操作，即SOS。表示这种SOS的网络小模块很多，这个*发挥。
4.2 DFF（Dense Feature Fusion）：
可以将作者说的因为U-net结构存在下采样，导致空间信息丢失，理解为超分中下采样，图像退化，因为为了恢复这个信息，进行多特征融合。
多尺度融合方法很多，作者认为由于来自不同层次的特征具有不同的尺度和维数，简单地使用拼接方法进行特征融合效果较差。反投影技术是一种通过最小化高分辨率估计结果之间的重建误差来生成高分辨率内容的有效方法。（Improving resolution by image registration 1991 鼻祖论文）。 Back-projection是作为一种高效迭代过程来优化重构误差。最初Back-projection作为多LR输入图像设计，然而仅仅输入一张LR图像，更新过程可通过利用多个上采样描述子来对LR图像采样，并迭代的计算重构误差。
H_t 是第t次迭代的结果，H_t+1 则是t+1 次的结果，这时希望将第t次的误差反馈给第t+1 一次。Lob是通过f下采样算子得到的一个低分辨率图像，通过对超结果Ht进行同样的下采样，计算其与真实的GT的下采样的结果之间的差距，并通过函数h反馈回去。
理论转向网络结构：同样作者将U-net结构中的上下采样看作超分中的上下采样，将前面的结果进行相应的采样处理与当前结果进行误差计算，并将误差通过函数得到一个误差反馈，将反馈应用到当前的结果上。作者借鉴了 Deep back-projection networks for super-resolution这篇论文里面关于如何用网络来表达这个传播。同样作者希望将之前的结果都进行反馈，这样产生了类似稠密连接的操作。
这篇文章很好的结合了最近几年去噪和超分方面的思路：增强和错误反馈机制。其中比较有代表的是下面这两篇文章。
ECCV2018 Deep Boosting for Image Denoising
2019 Real-world image denoising with deep boosting
2018 CVPR DeepBack-Projection Networks For Super-Resolution
图像复原常见的优化方向：
数据/训练策略/网络结构设计/各种小技巧网络模块