光场相机重聚焦之三——Matlab光场工具包使用、重聚焦及多视角效果展示

时间:2021-08-08 22:05:55
光场相机重聚焦之三——Matlab光场工具包使用、重聚焦及多视角效果展示

这一小节说一下Matlab光场工具包的使用,展示重聚焦和多视角的效果。

从Lytro illum中导出的raw数据为.lfp格式的光场图像文件(约52M大小),该文件包含以下几部分:光场图像数据rawdata;metadata;相机序列号 serials;光场图像大小imgSize;拜尔格式 ‘grgb’。为了从.lfp文件中提取出光场图像rawdata,需要用到Matlab光场工具包,该工具包由D. G. Dansereau等人开发,目前有toolbox0.3,toolbox0.4两个版本,toolbox0.4的下载地址为:https://cn.mathworks.com/matlabcentral/fileexchange/49683-light-field-toolbox-v0-4?s_tid=srchtitle。这个网址还有配套的示例图片(sample 压缩包,另行下载就可以了),工具包的使用教程在工具包解压出来的文件夹里面(.pdf文件)。接下来就是对光场文件进行解码得到光场图像,并对光场图像进行去马赛克,色彩校正等操作得到RGB的彩色光场图像。

关于工具包的详细设置和使用方法,强烈建议参考这篇文章http://www.vincentqin.tech/2017/02/16/LightField%E5%85%89%E5%9C%BA/,作者写的很详细,我就不赘述了,当时刚开始使用工具包的时候向该文作者请教了很多东西,在此表示感谢~

———————————————————————————————————————————————————————————————————————

从.lfp格式的光场文件中解析出RawImg到最终得到RGB图像有以下几个步骤,刚开始请仔细阅读工具包里的PDF文件

1.从相机里导出白图像(White Images):

根据matlab工具包解释,白图像是用光场相机在不同的曝光条件下拍摄白色平面得到的图像,这些图像主要有两个作用,一是可以用来校正由镜头阴影造成的图像四角偏暗现象;二是帮助定位微透镜中心的坐标。Lytro illum相机内置了34幅白图像,可以通过相机“导出配对数据”导出到本地。白图像是Raw图,可以通过PhotoShop打开,下面是我用PhotoShop CS5打开后的图像。

光场相机重聚焦之三——Matlab光场工具包使用、重聚焦及多视角效果展示

2.处理白图像:

通过对每一幅白图像进行处理,分别得到每一幅白图像对应的微透镜网格模型(lenslet grid model),如下图所示,并建立一个WhiteImagesdatabase映射表。

光场相机重聚焦之三——Matlab光场工具包使用、重聚焦及多视角效果展示

3.利用白图像对光场文件进行解码得到rawImage:

输入.lfp文件,工具包读取WhiteImagesDataBase映射表,工具包选取最合适的白图像和微透镜网格模型进行光场文件的解码,得到拜尔格式的光场图像(图像尺寸为7728*5368),如下图左所示,放大后可以看到每一个微透镜图像,如下图右所示。

光场相机重聚焦之三——Matlab光场工具包使用、重聚焦及多视角效果展示                                         光场相机重聚焦之三——Matlab光场工具包使用、重聚焦及多视角效果展示

4.对rawImage进行去马赛克操作(demosaic):

光场相机重聚焦之三——Matlab光场工具包使用、重聚焦及多视角效果展示

5.对去马赛克后的图像进行色彩校正(color correction):

光场相机重聚焦之三——Matlab光场工具包使用、重聚焦及多视角效果展示

好了,现在已经从Lytro Illum光场相机的.lfp文件得到我们想要的RGB光场图像(图像大小是7728*5368)了。

——————————————————————————下次接着写————————————————————————————————————————