Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

时间:2023-03-09 18:53:52
Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

代码作用:梳理在使用RPN时代码运行流程,区别上一篇不使用RPN时的情形,运行流程主要涉及的py文件有demo.py、test.py、VGGnet_test.py

主要函数及作用

(1)demo.py函数为实例程序,主函数中首先get_network()获取推断过程要用的网络结果函数(如VGGnet_test()),调用本py文件中定义的demo()函数,

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

默认情形使用RPN ,同样demo()中主要关注test.py中的im_detect()函数

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

(2)当使用RPN时bbox=None

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

首先调用本代码段中_get_blobs(im,boxes)

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

当使用RPN时,cfg.TEST.HAS_RPN为true。首先构造blobs字典,内含data字段、rois字段。

调用_get_image_blob()函数,确定当前im是以长边还是短边缩放,计算当前im的缩放比,默认情况下未使用图像金字塔,返回当前im缩放后的图像组成的blob(构成blobs中的data字段)以及im对应的缩放因子列表(不使用图像金字塔时列表长度为1),由于rois是通过RPN网络产生的,因此blobs中只有data字段有值传回。  Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

构造blobs中im_info字段(包含当前缩放后图像宽、高、缩放因子)im_blob.shape[0]应为原图像经图像金字塔处理后的图像张数,但使用RPN时不允许使用图像金字塔,因此每张图像缩放后的图像只有一张。构造feed_dict字典,包含blobs的data、im_info字段,与VGGnet_test.py中预先定义的占位符定义维度一一照应,其中data维度为[none,none,none,3],3表示3个图像通道、im_info维度为[none,3]

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程  Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

(3)rois的产生

首先需要了解VGGnet_test.py的运行原理,可参考第一篇代码解析。使用RPN时rois是由proposal_layer层产生的,具体产生过程细节后面将会一一进行解读。这里我们主要关注proposal_layer()返回rpn_rois的维度同样与不使用RPN维度时一致,为[none,5]

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

Tensorflow版Faster RCNN源码解析(TFFRCNN) (3)推断(测试)过程使用RPN时代码运行流程

注意:由rpn网络生成proposal的过程需要继续解读proposal_layer_tf.py的源码来分析,后面将会谈到。