Kalantari N K , Ramamoorthi R . Deep high dynamic range imaging of dynamic scenes[J]. ACM Transactions on Graphics, 2017, 36(4):1-12.
论文+数据+代码: http://cseweb.ucsd.edu/~viscomp/projects/SIG17HDR/
摘要:
从一组具有不同曝光量的图像中生成高动态范围（HDR）图像对于动态场景而言是具有挑战性的过程。一类现有技术首先将输入图像对齐到参考图像，然后将对齐的图像合并为HDR图像。但是，配准的伪影通常在最终的HDR图像中显示为重影和撕裂。在本文中，我们提出了一种基于学习的方法来解决动态场景的此问题。我们使用卷积神经网络（CNN）作为我们的学习模型，提出并比较了三种不同的系统架构，以对HDR合并过程进行建模。此外，我们创建了输入LDR图像及其对应的GT HDR图像的大型数据集，以训练我们的系统。我们通过从一组三个LDR图像中生成高质量的HDR图像来演示我们系统的性能。实验结果表明，与几种最先进的方法相比，我们的方法在挑战性场景中始终能产生更好的结果。
贡献:
- 我们提出了第一种机器学习方法，用于从一组包围的动态场景的曝光LDR图像中重建HDR图像（第3节）。
- 我们通过提出三种不同的系统架构并对它们进行广泛的比较（第3.2节）来充分探索这一想法。
- 我们引入了第一个适合于学习HDR重建的数据集，这可以促进该领域的未来学习研究（第4节）。此外，我们的数据集可以潜在地用于比较不同的HDR重建方法。注意，现有的数据集，例如Karaduzovic等人介绍的数据集。 [2016]，场景有限，不适合训练深层的CNN.
algorithm:
给三个动态场景的LDR 图像
, 目的是产生无伪影的HDR图像H(与中等曝光图像对齐(参考图像)).
过程可以分为两部分:
1 对齐: 不同曝光的图像, 被对齐到参考图像 Z2, 生成对齐图像 
,其中, 
2 合并: 合并I 得到 H.
算法流程:
预处理输入图像:
如果LDR图像不是RAW格式, 使用CRF(使用高级校准方法能够从输入的图像stack中获得Grossberg and Nayar 2003, Badki 2015)线性化图像, 然后应用gamma 矫正在线性化的图像上,产生我们模型的输入图像.
对齐图像:
高曝光图像Z3, 低曝光图片Z1, 介绍Z3对齐到Z2(Z1对齐到Z2同理), 因为光流算法要求亮度是一致的, 因此, 提高曝光暗的图片的曝光度跟亮图片一致, 具体做法: 
, clipping 函数确保输出范围[0, 1], 
表示曝光率, t3, t2表示曝光时间, 然后使用 Liu[2009]的光流算法计算 Z3, 
之间的光流信息, 最后，我们使用 双三次插值法使用计算出的光流使高曝光图像Z3变形, 这样就产生
, 对齐图像集合
HDR merge :
这个部分主要的挑战是检测对齐伪影, 避免伪影影响到最终的HDR图像. 这里使用 机器学习的方法,
1) 模型使用cnn,
2) loss : 最小化tonemapped估计和ground truth 之间的 l2 距离 
(公式2), 其中
和T是估计的和地面真实色调映射的HDR图像，并且总和是在彩色通道上进行的.
其中, tonemapped 
(公式1), H 表示 在线性域中的HDR 图像, 
是定义压缩量的参数, 在实现过程中H 范围[0, 1] , 
在线性域中直接选择使用 l2 距离计算 评估(
)和真值H HDR图像的错误率.
基于学习的HDR merge :
三种方式:
1) Direct:
输入
, 其中 
是在HDR域下对齐图像的集合 H1, H2, H3. 
, ti是第i个图像的曝光时间. 输出是 最终的HDR图像 H.
2) Weight Estimator(WE)
输入, 输出 混合权总 (blending weights) 
. 然后 
(公式6) 得到最终的HDR 图像,(权重
基本定义了第j个对齐图像在像素p处的质量)
3) Weight and Image Estimator(WIE):
输入, 输出 混合权总 (blending weights) 和 精细对齐图像 
网络输出n0, 对于direct结构n0=3 是相关的颜色通道数, WE结构中 n0=9, 3个颜色通道, 每个通道 3个混合权重 alpha, 对于WIE结构, n0=18, 3个精细对齐图片
, 且都是3颜色通道的, 在加上 9个混合权重.
数据集制作:
合成GT HDR 使用公式6, 其中 权重为:
