Adobe超分辨率算法:SRNTT

时间:2023-03-10 01:22:56
Adobe超分辨率算法:SRNTT

论文:Image Super-Resolution by Neural Texture Transfer

论文链接:https://arxiv.org/abs/1903.00834

项目地址:https://github.com/ZZUTK/SRNTT

SRNTT

Adobe 研究院与田纳西大学的研究者提出。

http://web.eecs.utk.edu/~zzhang61/project_page/SRNTT/SRNTT.html

基于参照的超分辨率

与 LR 输入有相似内容的参照(Ref)图像。

已有的 RefSR 方法是采用内部示例(self-example)或外部高频信息来增强纹理。但是,这些方法都假设参照图像与 LR 图像有相似的内容和/或有良好的对齐。否则,它们的表现会有显著的下降,甚至会比SISR 方法更差。

相对而言,Ref 图像在我们的设定中则发挥着不同的作用:无需与 LR 图像有良好的对齐或相似的内容。我们只希望将形义相关的纹理从 Ref 图像迁移到输出的 SR 图像。理想情况下,在存在良好的 Ref 图像时,稳健的RefSR 算法应当优于 SISR,并且在没有提供 Ref 图像或完全不含相关纹理时也能得到与 SISR 相当的表现。注意,内容相似性可以推断出纹理相似性,但反过来不成立。

SRNTT 框架,包含特征交换和纹理迁移:

Adobe超分辨率算法:SRNTT

提出的 SRNTT 的目标是:给定参照图像,根据低分辨率图像估计得到更高分辨率的图像,使得到的超分辨率图像能根据参照图像合成可信的纹理,同时在内容上保持与低分辨率图像一致。

其中的主要思想是在特征空间中搜索与参照图像匹配的特征,然后以多尺度的方式将匹配的特征迁移到超分辨率图像,因为特征在面对颜色和光照条件变化时更为稳健。这种多尺度纹理迁移能同时考虑低分辨率图像和参照图像在形义(高层面)和纹理(低层面)上的相似性,从而能在抑制不相关纹理的同时迁移相关的纹理。

【转载自】

Adobe提出新型超分辨率方法:用神经网络迁移参照图像纹理 https://new.qq.com/omn/20190316/20190316A0C2G6?pc

【相关 】

[论文笔记] Image Super-Resolution by Neural Texture Transfer (CVPR2019) - Deephome的博客 - ****博客 https://blog.****.net/muyiyushan/article/details/88752720

「Image Processing」Note on SRNTT - 小锋子Shawn - ****博客 https://blog.****.net/dgyuanshaofeng/article/details/88617548

超十亿样本炼就的CNN助力图像质量增强,Adobe推出新功能「增强细节」 | 机器之心 https://www.jiqizhixin.com/articles/19021801