YOLOV5 部署:QT的可视化界面推理(根据UI窗口编写内部函数)

时间:2024-03-18 12:21:42

1、前言

上一章,UI的可视化界面已经创建好了。并且通过UI文件编译成了python可以处理的py文件,为了方便使用,我们新建了qt_inference 对ui的py脚本进行调用,效果如下

UI可视化的生成:YOLOV5 部署:QT的可视化界面推理(创建UI,并编译成py文件)-CSDN博客

本章将接着上面操作,完成一个可以实时检测的YOLOV5可视化推理界面

下面将根据项目一步一步实现函数,可能会看得有点头昏,或者害怕代码缺失的问题。不用担心,文末会有脚本的全部代码,可以拷贝下面跟着博文一起实现就行了

2、简单的图片、视频检测函数

下面对ui的每一个按钮绑定一个事件,达到理想的效果

run 方法的detect_image 就是上一章中,按钮的重新命名,当然在编译生成ui_main_window脚本里也可以看到按钮的名称

如下:点击按钮,就能出现信息啦

3、torch.hub 检测

因为yolov5的检测参数太多,不方便可视化的部署,所以这里介绍一个简单的推理方法

代码如下:

前面的pathlib是为了解决path报错的问题,如果没有报错的话,可以删除这三行

torch.hub.load 参数:当前文件夹、自定义模型、权重路径、本地项目

import torch

'''
解决下面的问题
Exception: cannot instantiate 'PosixPath' on your system. Cache may be out of date,
try `force_reload=True` or see https://docs.ultralytics.com/yolov5/tutorials/pytorch_hub_model_loading for help.
'''
import pathlib
temp = pathlib.PosixPath
pathlib.PosixPath = pathlib.WindowsPath


model = torch.hub.load('./','custom',path='runs/train/exp/weights/best.pt',source='local')

img = './datasets/images/train/180.jpg'

result = model(img)

result.show()

运行:其实pycharm控制台也可以看见解释器的位置

结果:

result.render()[0]  添加这个,可以将推理结果的图片数组提出来,而非show

4、图片检测事件

既然按钮已经和我们的代码绑定在一起了,只要在代码里实现想要的操作就易如反掌了,这也是我们擅长的

4.1 读取文件夹、图片

因为点击图片检测按钮的时候,应该会弹出一个窗口,让我们在本地的目录下进行查找待推理的图片,这里需要导入下面的库函数

这里的dir 是默认打开的文件路径,filter 是指定打开的文件格式,这里是图片格式

效果如下:

如果什么都不选,点击取消的话,也会返回两个元组,只不过都是空的。而我们只需要第一个元组,因为这个是图片的路径!!

4.2 在UI界面中显示图片

需要导入函数,用于QT的显示图片

然后把路径传入input窗口即可(还记得吗,input是我们定义的显示图片的组件名称

4.3 推理部分

那么根据第三节的hub检测,推理的代码就很好写了

首先导入库

然后导入模型,并且推理即可

4.4 显示推理结果

因为image 是个数组形式,虽然也是个图片,但是QT不支持,所以需要转成QT的格式

将数组转入QT格式的数据

调用推理函数,并且输出即可

4.5 可视化图片检测的完整代码

代码:

import sys
from PySide6.QtWidgets import QMainWindow,QApplication,QFileDialog      # 打开文件夹的函数
from ui_main_window import Ui_MainWindow
from PySide6.QtGui import QPixmap,QImage           # 显示图片库,qt的图片格式


import torch
'''
解决下面的问题
Exception: cannot instantiate 'PosixPath' on your system. Cache may be out of date,
try `force_reload=True` or see https://docs.ultralytics.com/yolov5/tutorials/pytorch_hub_model_loading for help.
'''
import pathlib
temp = pathlib.PosixPath
pathlib.PosixPath = pathlib.WindowsPath


# 图片转换
def convert2QImage(img):
    h,w,c = img.shape
    return QImage(img,w,h,w*c,QImage.Format_RGB888)


class MainWindow(QMainWindow,Ui_MainWindow):
    def __init__(self):
        super(MainWindow,self).__init__()
        self.setupUi(self)      # 根据ui文件编译成的 py类
        self.model = torch.hub.load('./','custom',path='runs/train/exp/weights/best.pt',source='local')     # 加载模型
        self.run()              # 将按钮和事件绑定,通过鼠标点击触发

    def image_pred(self,file_path):
        results = self.model(file_path)
        image = results.render()[0]     # 推理结果,是个数组
        image = convert2QImage(image)   # 转成QT支持的数据
        return image

    def open_image(self):       # 打开图片
        print('image detect')
        file_path = QFileDialog.getOpenFileName(self,dir='datasets/images/val',filter='*.jpg;*.png;*.jpeg')

        if file_path[0]:        # 如果有图片的话
            file_path = file_path[0]
            self.input.setPixmap(QPixmap(file_path))        # 将图片显示到可视化窗口的输入部分
            qimage = self.image_pred(file_path)
            self.output.setPixmap(QPixmap.fromImage(qimage))         # # 将图片显示到可视化窗口的输出部分

    def open_video(self):       # 打开视频
        print('video detect')

    def run(self):              # 鼠标触发的事件
        self.detect_image.clicked.connect(self.open_image)
        self.detect_video.clicked.connect(self.open_video)


if __name__ == '__main__':
    app = QApplication(sys.argv)

    window = MainWindow()
    window.show()

    app.exec()

控制台输出:

可视化结果展示:

5、视频检测事件

视频检测的部分可图片检测一样,抽取每帧然后推理、输出,这里只做简单介绍

传统的while 循环在QT里面可能会有较大延迟,为了方便,这里使用计时器来实现视频检测

代码的逻辑很简单,通过计时器计数,达到一定时间自动抽取一帧进行预测

视频检测:

6、完整代码

项目的逻辑很简单,首先可视化窗口,检测鼠标是否点击了检测的按钮(run函数)

如果检测了图片,将根据路径找到图片进行推理,并且展示在窗口中

如果检测了视频,则计时器开始计时,每到一个间隔,自动运行video_pred 函数,也就是视频检测,自动读取一帧

 代码:

import sys
import cv2
from PySide6.QtWidgets import QMainWindow,QApplication,QFileDialog      # 打开文件夹的函数
from ui_main_window import Ui_MainWindow
from PySide6.QtGui import QPixmap,QImage           # 显示图片库,qt的图片格式
from PySide6.QtCore import QTimer               # 显示视频的计时器

import torch
'''
解决下面的问题
Exception: cannot instantiate 'PosixPath' on your system. Cache may be out of date,
try `force_reload=True` or see https://docs.ultralytics.com/yolov5/tutorials/pytorch_hub_model_loading for help.
'''
import pathlib
temp = pathlib.PosixPath
pathlib.PosixPath = pathlib.WindowsPath


# 图片转换
def convert2QImage(img):
    h,w,c = img.shape
    return QImage(img,w,h,w*c,QImage.Format_RGB888)


class MainWindow(QMainWindow,Ui_MainWindow):
    def __init__(self):
        super(MainWindow,self).__init__()
        self.setupUi(self)      # 根据ui文件编译成的 py类
        self.model = torch.hub.load('./','custom',path='runs/train/exp/weights/best.pt',source='local')     # 加载模型
        self.timer = QTimer()       # 创建计时器
        self.timer.setInterval(1)   # 计时器的间隔,ms
        self.video = None
        self.run()              # 将按钮和事件绑定,通过鼠标点击触发

    def image_pred(self,file_path):
        results = self.model(file_path)
        image = results.render()[0]     # 推理结果,是个数组
        image = convert2QImage(image)   # 转成QT支持的数据
        return image

    def open_image(self):       # 打开图片
        self.timer.stop()
        print('image detect')
        file_path = QFileDialog.getOpenFileName(self,dir='datasets/images/val',filter='*.jpg;*.png;*.jpeg')

        if file_path[0]:        # 如果有图片的话
            file_path = file_path[0]
            self.input.setPixmap(QPixmap(file_path))        # 将图片显示到可视化窗口的输入部分
            qimage = self.image_pred(file_path)
            self.output.setPixmap(QPixmap.fromImage(qimage))         # 将图片显示到可视化窗口的输出部分

    def video_pred(self):
        ret, frame = self.video.read()
        if not ret:
            self.timer.stop()       # 没有检测到视频,计时器停止
        else:
            frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            self.input.setPixmap(QPixmap.fromImage(convert2QImage(frame)))  # 将图片显示到可视化窗口的输入部分
            results = self.model(frame)
            image = results.render()[0]     # 推理结果,是个数组
            self.output.setPixmap(QPixmap.fromImage(convert2QImage(image)))  # 将图片显示到可视化窗口的输出部分

    def open_video(self):       # 打开视频
        print('video detect')
        file_path = QFileDialog.getOpenFileName(self, dir='datasets', filter='*.mp4')
        if file_path[0]:  # 如果有视频的话
            file_path = file_path[0]
            self.video = cv2.VideoCapture(file_path)             # 打开视频
            self.timer.start()

    def run(self):              # 鼠标触发的事件
        self.detect_image.clicked.connect(self.open_image)
        self.detect_video.clicked.connect(self.open_video)
        self.timer.timeout.connect(self.video_pred)    # 计时器时间到就预测


if __name__ == '__main__':
    app = QApplication(sys.argv)

    window = MainWindow()
    window.show()

    app.exec()

项目完整下载:YOLOV5部署,利用QT部署可视化的图片、视频推理界面资源-CSDN文库

订阅本专栏,根据文章自动生成即可,不需要下载