OpenCV是我们大家非常熟悉的图像处理开源类库；在其新版本将原本在Contrib分库中的DNN模块融合到了主库中，并且更新了相应文档。这样我们就能够非常方便地利用OpenCV实现一些属于DeepLearning范畴的效果，比如“超级分辨率”“单色图片着色”“色彩迁移”等。当我们想把软件处理的平台由PC机转移到嵌入式平台和手机上的时候，QT也是能和OpenCV配合地非常好的平台。在这里，我具体研究了如何搭建Android+QT+OpenCV环境，实现“单色图片着色”效果；并将相关内容整理如下，希望能够对有这方面需求的工程师提供帮助。

一、环境配置

首先我们面临的问题是工具版本的选择，虽然我们已经确定了Android+QT+OpenCV的基本软件结构，但是在每一个环节都需要选择具体的版本。

Android需要选择的是sdk和ndk的版本，我这里使用的是Android10(API29)+android-ndk-r20的组合，基本上是现在（2019年9月）最新的组合了；

QT需要选择的是QT和QT Creator，我这里选择的是QT 5.13.1+QT Creator 4.10.0，同样是现在（2019年9月）最新的组合；搭建Android+QT+OpenCV环境，实现“单色图片着色”效果

OpenCV用于Android的话，官方有Prebuild版本，我这里采用的是opencv-4.1.0-android-sdk。

1、SDK的下载和配置

首先我们正确安装JDK并且将其目录放入PATH中，而后需要下载android-sdk、android-ndk-r20、OpenCV-android-sdk，并且分别解压放置在非中文无空格的目录中。（下载地址看文末）

2、QT的安装和配置

下载QT在线安装程序直接安装，安装过程中除了默认选中的“Developer and designer Tools”以外，只需选中QT5.13.1下的“Android Armv7”即可。

完成后主要是做一个配置“工具”->"选项“中”设备“栏目"JDK""SDK""NDK"都配置到正确的目录下

这里容易出现各种错误，尽可能保证使用我推荐的软件版本，避免错误影响进度。

此时，你应该就已经可以在Android上运行QT自带的例子。

任意选择一个例子，比如“Qt 3D: Audio Visualizer Example ”，选择之前配置好的Kits，连接好实体手机或者模拟器（参考文末链接），点击“运行”，稍等一会，即可出现效果。

这里需要注意，第一次运行可能需要从网络上下载一些东西，所以请保证网络顺畅。

3、OpenCV环境的引入

下面我们想办法将OpenCV环境引入进来，之前已经下载了“OpenCV-android-sdk",它的文件目录是这样:

这时，需要我们配置QT项目的.pro文件，最为重要的就是在.pro文件中添加这个模块

android {
ANDROID_OPENCV = D:/OpenCV-android-sdk/sdk/native
INCLUDEPATH += \
$$ANDROID_OPENCV/jni/include/opencv2 \
$$ANDROID_OPENCV/jni/include \

LIBS += \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_ml.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_objdetect.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_calib3d.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_video.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_features2d.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_highgui.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_flann.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_imgproc.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_dnn.a \
$$ANDROID_OPENCV/staticlibs/armeabi-v7a/libopencv_core.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/libcpufeatures.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/libIlmImf.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/liblibjasper.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/liblibjpeg-turbo.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/liblibpng.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/liblibprotobuf.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/liblibtiff.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/liblibwebp.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/libquirc.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/libtbb.a \
$$ANDROID_OPENCV/3rdparty/libs/armeabi-v7a/libtegra_hal.a \
$$ANDROID_OPENCV/libs/armeabi-v7a/libopencv_java4.so

}

这里就是告诉QT到哪里去寻找OpenCV-android-sdk的include文件和libs文件，最后，还需要将libopencv_java4.so添加到项目中

方法是对于当前项目，点击“项目”->“详情”->"add"将这个libopencv_java4.so加进去，需要注意这里有bug，添加完成后，需要手动修

改.pro文件这个部分至正确：

contains(ANDROID_TARGET_ARCH,armeabi-v7a) {
ANDROID_EXTRA_LIBS = \
D:/OpenCV-android-sdk/sdk/native/libs/armeabi-v7a/libopencv_java4.so

4、DNN模型的引入

由于所有的DNN模型都需要调用模型文件（.pb等），而这些文件都必须预先编译到APK中去。使用 Qt 如何来做了？还是在.pro文

件上下功夫。

打开 Qt 工程文件pro，并添加如下代码

data.files += images/*.*
data.files += dnn/*.prototxt
data.files += dnn/*.caffemodel
data.path = /assets/dnn
INSTALLS += data

注意，这里只是我的示例写法，images和dnn是我手动添加的和工程文件 pro 同级目录的文件夹

里面分别包含了图片和模型文件：

再来看.pro中添加的这个部分

data.files += images/*.*
data.files += dnn/*.prototxt
data.files += dnn/*.caffemodel
data.path = /assets/dnn
INSTALLS += data

其中data字段是可以随便定义的，首先指定data.files 文件目录，然后将images目录下所有的文件，dnn目录下所有的.prototxt和.caffemodel

全部加入其中。最后制定data.path为/assets/dnn

这样编译出来的 apk 中，加压后会发现已经生成一个assets文件夹，并且在改文件夹中存放了我们已经添加的文件。

我们可以通过winrar打开apk，发现这些文件。

那么到目前为止，所有需要准备的东西都已经停当，我们开始编码。

二、代码编写

这里我给出的例子是一个非常简单的widget程序（截图可能和题图有所不同，以这里的为准）

包含1个textbox和2个button按钮。我们直接按照从上到下的顺序来看代码。

首先是"读取Lena并显示“，这个按钮的功能比较存粹，就是使用OpenCV从前面保存的assets目录中读出lena.jpg，并且最终利用QT显示出来。

void MainWindow::on_pushButton_2_clicked()
{
QFile::copy("assets:/dnn/lena.bmp", "lena.bmp");
Mat src = imread("lena.bmp");
cvtColor(src,src,COLOR_BGR2GRAY);
QPixmap qpixmap = Mat2QImage(src);
// 将图片显示到label上
ui->label->setPixmap(qpixmap);
}

逐句来看，首先使用QFile::copy函数将"assets:/dnn/lena.bmp"拷贝到根目录下的"lena.bmp"处，这样OpenCV就能够使用绝对路径来读取；

接下来读入这个图片，转换为灰度图片，这些都是基本OpenCV函数。然后我们使用了Mat2QImage函数将Mat格式的数据转换成为了QPixmap格式，并且使用label显示出来。

那么Mat2QImage是一个我们自己实现的函数，功能就是将Mat格式转换为QImage格式，这样QT就能够显示。

)
{
cvtColor( src, tmp, COLOR_BGR2RGB );
img = QImage( (const unsigned char*)(tmp.data), tmp.cols, tmp.rows, QImage::Format_RGB888 );
}
else
{
img = QImage( (const unsigned char*)(src.data), src.cols, src.rows, QImage::Format_Grayscale8 );
}
QPixmap qimg = QPixmap::fromImage(img) ;
return qimg;
}

其次是“调用着色算法”，这个函数就是在前面的基础上添加了较多功能。

;
;
Net net , , , };
, sz, CV_32F, hull_pts);
Ptr, , CV_32F, Scalar(.)));

. );
cvtColor(tmp, lab, COLOR_BGR2Lab);
extractChannel(lab, L, );
cv;

], result.size[]);
Mat a , ));
Mat b , ));
cv, lab);
cvtColor(lab, color, COLOR_Lab2BGR);

color.convertTo(tmp,CV_8UC3,);

QPixmap qpixmap = Mat2QImage(tmp);
// 将图片显示到label上
ui->label->setPixmap(qpixmap);
}

这个代码比较长，我们一块一块地来讲，首先仍然是将assets目录中的文件拷贝到绝对地址下面；

然后这个比较长的代码具体实现的功能就是调用模型实现着色效果，这里我整编一些之前写的东西。

目前使用的这个模型来自Richard Zhang，原始论文:

目前算法能够实现较好的灰度图片作色效果，他所采用的方法是基于大量图片的训练来“预测”灰色图片中对应的彩色效果。下图是论文中的对比。

为了程序的成功运行，需要先前往

http://eecs.berkeley.edu/~rich.zhang/projects/2016_colorization/files/demo_v2/colorization_release_v2.caffemodel

https://raw.githubusercontent.com/richzhang/colorization/master/colorization/models/colorization_deploy_v2.prototxt

下载caffeemodel和prototxt文件。整个过程中很多代码，只有几行是核心的：

搭建Android+QT+OpenCV环境，实现“单色图片着色”效果

其他的代码都是为了能够将各种文件转换成forward支持的格式。其中调用了一个大的常量：

., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .,
., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., ., .
};

这些数据的产生都和作者原始采用的模型有密切关系，想要完全理解Dnn的代码就必须了解对应模型的训练过程。

三、参考和技巧

1、看到我这里使用“夜神”模拟器来调试Android程序是不是很感兴趣？具体使用起来是有技巧滴，请参考