使用树莓派实现(山寨)高清视频叠加(HDMI OSD)

时间:2024-02-18 08:15:33

项目需要在HDMI上叠加一些字符包括汉字和数值,要求不能使用台式机,本身也没有HDMI采集卡驱动开发能力,所以通过海思的HDMI编码器将HDMI编码为h.264网络视频流,然后通过树莓派解码显示,做字符叠加(OSD),将树莓派的HDMI输出接在电视上,就实现了HDMI的高清视频字符叠加。
1、中文字符问题
  opencv实现中文字符显示需要依赖freetype,所以这里简单的加载一张图像模板,opencv在模板上添加数字,汉字部分不需要动在模板中写好即可。
2、树莓派串口问题
首先read的时候报错:
  device reports readiness to read but returned no data (device disconnected?)
然后重新打开,报错:
  Could not configure port: (5, \'Input/output error\')
用minicom打开正常,再用程序打开也正常
整个系统经常假死,ssh无法连接,已经连接的终端不断开,但无法操作,鼠标能移动,但界面无反应。软件停止运行,但有时视频能正常播放。
将树莓派的硬件串口引出后,问题解决。
3、视频显示问题
一开始使用nanopi-M1,但播放视频时发现卡顿严重,1080p仅能播放14帧每秒。使用OpenCV-Python直接打开rtsp流,进行叠加显示,结果卡顿严重,基本上全是绿屏。CPU占用率单核100%,说明opencv使用软解,无法达到实时。
通过ffmpeg播放rtsp流,效果一样。通过ffmpeg播放时,解码部分是硬解,但转码部分没有优化,导致CPU占用达到100%,不能流畅播放。
通过mplayer指定解码器播放视频文件流畅,CPU占用30%,所以应该是用GPU解码的:
  mplayer rtsp://192.168.1.90:554/ -vo vdpau -vc ffh264vdpau
使用mplayer播放rtsp时,CPU占用率低,但播放不流畅。怀疑是mplayer的rtsp部分有问题,现在也没有解决。

所以用树莓派继续尝试。
在树莓派3上使用omxplayer直接播放rtsp视频:
  omxplayer --avdict rtsp_transport:tcp rtsp://192.168.1.90:554/
但延时高。而且也没有找到方法做osd。所以找了这个链接:https://github.com/AndrewFromMelbourne/raspidmx,用这里边的例子pngview实现了PNG图像在显示器上透明显示,一边用omxplayer播放rtsp视频,一边用opencv绘制PNG图像,再通过pngview画到显示器上,就实现了视频osd功能。

单张PNG叠加实现后,将pngview编译成动态库,由Python调用,但叠加几次以后黑屏,无法解决。所以pngview仍然作为独立进程使用,Python 调用opencv在PNG模板上绘制数字,保存在内存文件系统/tmp下,然后调用pngview显示,启动pngview后,延时50ms杀死上次启动的pngview,防止闪屏。

内存文件系统:
在/etc/fstab中加入一行:
  none /tmp tmpfs default 0 0
或者在/etc/rc.local中加入
  mount tmpfs /tmp -t tmpfs -o size=128m
注:size=128m 表示/tmp最大能用128m
不管哪种方式,只要linux重启,/tmp下的文件全部消失

这样就实现了HDMI视频osd功能。效果如下:

4、显示分辨率问题
解决视频显示以后,本以为就完成了。但是断电重新开机时,发现屏幕分辨率不对。
  1、使用显示器直接连接树莓派,显示器先上电,树莓派再上电,分辨率1280*720,一切正常
  2、使用显示器直接连接树莓派,显示器稍晚1s上电,树莓派不启动图形界面,显示器上显示无信号
  3、使用以色列图传连接树莓派,同时上电时,显示分辨率变为640*480,无法改变
  4、使用以色列图传连接树莓派,图传上电以后树莓派上电,显示分辨率为1920*1080,无法改变,视频正常播放,osd正常叠加,但视频和osd一起运行,屏幕花屏,然后黑屏。截掉任意一个程序,恢复正常。
问题无法解决,所以开机时检测屏幕分辨率,若分辨率不对,就重启,由于分辨率问题是树莓派与显示器一起上电导致的,所以重启后分辨率就对了,就形成了以上的第四种情况,然后又接了一个HDMI双路视频切换的盒子,这个切换盒与树莓派同时上电可以获得正确的分辨率,于是问题解决了……
所以系统拓扑如下……

由于不具备全系统开发能力,无法提高系统集成度,只能依靠买来的模块攒,最终无法做出稳定可靠的东西