1、前言
上一章,UI的可视化界面已经创建好了。并且通过UI文件编译成了python可以处理的py文件,为了方便使用,我们新建了qt_inference 对ui的py脚本进行调用,效果如下
UI可视化的生成:YOLOV5 部署:QT的可视化界面推理(创建UI,并编译成py文件)-CSDN博客
本章将接着上面操作,完成一个可以实时检测的YOLOV5可视化推理界面
下面将根据项目一步一步实现函数,可能会看得有点头昏,或者害怕代码缺失的问题。不用担心,文末会有脚本的全部代码,可以拷贝下面跟着博文一起实现就行了
2、简单的图片、视频检测函数
下面对ui的每一个按钮绑定一个事件,达到理想的效果
run 方法的detect_image 就是上一章中,按钮的重新命名,当然在编译生成ui_main_window脚本里也可以看到按钮的名称
如下:点击按钮,就能出现信息啦
3、torch.hub 检测
因为yolov5的检测参数太多,不方便可视化的部署,所以这里介绍一个简单的推理方法
代码如下:
前面的pathlib是为了解决path报错的问题,如果没有报错的话,可以删除这三行
torch.hub.load 参数:当前文件夹、自定义模型、权重路径、本地项目
import torch
'''
解决下面的问题
Exception: cannot instantiate 'PosixPath' on your system. Cache may be out of date,
try `force_reload=True` or see https://docs.ultralytics.com/yolov5/tutorials/pytorch_hub_model_loading for help.
'''
import pathlib
temp = pathlib.PosixPath
pathlib.PosixPath = pathlib.WindowsPath
model = torch.hub.load('./','custom',path='runs/train/exp/weights/best.pt',source='local')
img = './datasets/images/train/180.jpg'
result = model(img)
result.show()
运行:其实pycharm控制台也可以看见解释器的位置
结果:
result.render()[0] 添加这个,可以将推理结果的图片数组提出来,而非show
4、图片检测事件
既然按钮已经和我们的代码绑定在一起了,只要在代码里实现想要的操作就易如反掌了,这也是我们擅长的
4.1 读取文件夹、图片
因为点击图片检测按钮的时候,应该会弹出一个窗口,让我们在本地的目录下进行查找待推理的图片,这里需要导入下面的库函数
这里的dir 是默认打开的文件路径,filter 是指定打开的文件格式,这里是图片格式
效果如下:
如果什么都不选,点击取消的话,也会返回两个元组,只不过都是空的。而我们只需要第一个元组,因为这个是图片的路径!!
4.2 在UI界面中显示图片
需要导入函数,用于QT的显示图片
然后把路径传入input窗口即可(还记得吗,input是我们定义的显示图片的组件名称)
4.3 推理部分
那么根据第三节的hub检测,推理的代码就很好写了
首先导入库
然后导入模型,并且推理即可
4.4 显示推理结果
因为image 是个数组形式,虽然也是个图片,但是QT不支持,所以需要转成QT的格式
将数组转入QT格式的数据
调用推理函数,并且输出即可
4.5 可视化图片检测的完整代码
代码:
import sys
from PySide6.QtWidgets import QMainWindow,QApplication,QFileDialog # 打开文件夹的函数
from ui_main_window import Ui_MainWindow
from PySide6.QtGui import QPixmap,QImage # 显示图片库,qt的图片格式
import torch
'''
解决下面的问题
Exception: cannot instantiate 'PosixPath' on your system. Cache may be out of date,
try `force_reload=True` or see https://docs.ultralytics.com/yolov5/tutorials/pytorch_hub_model_loading for help.
'''
import pathlib
temp = pathlib.PosixPath
pathlib.PosixPath = pathlib.WindowsPath
# 图片转换
def convert2QImage(img):
h,w,c = img.shape
return QImage(img,w,h,w*c,QImage.Format_RGB888)
class MainWindow(QMainWindow,Ui_MainWindow):
def __init__(self):
super(MainWindow,self).__init__()
self.setupUi(self) # 根据ui文件编译成的 py类
self.model = torch.hub.load('./','custom',path='runs/train/exp/weights/best.pt',source='local') # 加载模型
self.run() # 将按钮和事件绑定,通过鼠标点击触发
def image_pred(self,file_path):
results = self.model(file_path)
image = results.render()[0] # 推理结果,是个数组
image = convert2QImage(image) # 转成QT支持的数据
return image
def open_image(self): # 打开图片
print('image detect')
file_path = QFileDialog.getOpenFileName(self,dir='datasets/images/val',filter='*.jpg;*.png;*.jpeg')
if file_path[0]: # 如果有图片的话
file_path = file_path[0]
self.input.setPixmap(QPixmap(file_path)) # 将图片显示到可视化窗口的输入部分
qimage = self.image_pred(file_path)
self.output.setPixmap(QPixmap.fromImage(qimage)) # # 将图片显示到可视化窗口的输出部分
def open_video(self): # 打开视频
print('video detect')
def run(self): # 鼠标触发的事件
self.detect_image.clicked.connect(self.open_image)
self.detect_video.clicked.connect(self.open_video)
if __name__ == '__main__':
app = QApplication(sys.argv)
window = MainWindow()
window.show()
app.exec()
控制台输出:
可视化结果展示:
5、视频检测事件
视频检测的部分可图片检测一样,抽取每帧然后推理、输出,这里只做简单介绍
传统的while 循环在QT里面可能会有较大延迟,为了方便,这里使用计时器来实现视频检测
代码的逻辑很简单,通过计时器计数,达到一定时间自动抽取一帧进行预测
视频检测:
6、完整代码
项目的逻辑很简单,首先可视化窗口,检测鼠标是否点击了检测的按钮(run函数)
如果检测了图片,将根据路径找到图片进行推理,并且展示在窗口中
如果检测了视频,则计时器开始计时,每到一个间隔,自动运行video_pred 函数,也就是视频检测,自动读取一帧
代码:
import sys
import cv2
from PySide6.QtWidgets import QMainWindow,QApplication,QFileDialog # 打开文件夹的函数
from ui_main_window import Ui_MainWindow
from PySide6.QtGui import QPixmap,QImage # 显示图片库,qt的图片格式
from PySide6.QtCore import QTimer # 显示视频的计时器
import torch
'''
解决下面的问题
Exception: cannot instantiate 'PosixPath' on your system. Cache may be out of date,
try `force_reload=True` or see https://docs.ultralytics.com/yolov5/tutorials/pytorch_hub_model_loading for help.
'''
import pathlib
temp = pathlib.PosixPath
pathlib.PosixPath = pathlib.WindowsPath
# 图片转换
def convert2QImage(img):
h,w,c = img.shape
return QImage(img,w,h,w*c,QImage.Format_RGB888)
class MainWindow(QMainWindow,Ui_MainWindow):
def __init__(self):
super(MainWindow,self).__init__()
self.setupUi(self) # 根据ui文件编译成的 py类
self.model = torch.hub.load('./','custom',path='runs/train/exp/weights/best.pt',source='local') # 加载模型
self.timer = QTimer() # 创建计时器
self.timer.setInterval(1) # 计时器的间隔,ms
self.video = None
self.run() # 将按钮和事件绑定,通过鼠标点击触发
def image_pred(self,file_path):
results = self.model(file_path)
image = results.render()[0] # 推理结果,是个数组
image = convert2QImage(image) # 转成QT支持的数据
return image
def open_image(self): # 打开图片
self.timer.stop()
print('image detect')
file_path = QFileDialog.getOpenFileName(self,dir='datasets/images/val',filter='*.jpg;*.png;*.jpeg')
if file_path[0]: # 如果有图片的话
file_path = file_path[0]
self.input.setPixmap(QPixmap(file_path)) # 将图片显示到可视化窗口的输入部分
qimage = self.image_pred(file_path)
self.output.setPixmap(QPixmap.fromImage(qimage)) # 将图片显示到可视化窗口的输出部分
def video_pred(self):
ret, frame = self.video.read()
if not ret:
self.timer.stop() # 没有检测到视频,计时器停止
else:
frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
self.input.setPixmap(QPixmap.fromImage(convert2QImage(frame))) # 将图片显示到可视化窗口的输入部分
results = self.model(frame)
image = results.render()[0] # 推理结果,是个数组
self.output.setPixmap(QPixmap.fromImage(convert2QImage(image))) # 将图片显示到可视化窗口的输出部分
def open_video(self): # 打开视频
print('video detect')
file_path = QFileDialog.getOpenFileName(self, dir='datasets', filter='*.mp4')
if file_path[0]: # 如果有视频的话
file_path = file_path[0]
self.video = cv2.VideoCapture(file_path) # 打开视频
self.timer.start()
def run(self): # 鼠标触发的事件
self.detect_image.clicked.connect(self.open_image)
self.detect_video.clicked.connect(self.open_video)
self.timer.timeout.connect(self.video_pred) # 计时器时间到就预测
if __name__ == '__main__':
app = QApplication(sys.argv)
window = MainWindow()
window.show()
app.exec()
项目完整下载:YOLOV5部署,利用QT部署可视化的图片、视频推理界面资源-CSDN文库
订阅本专栏,根据文章自动生成即可,不需要下载