Android 和 iOS 实现录屏推流的方案整理

时间:2021-02-17 04:32:22

一、录屏推流实现的步骤

1. 采集数据

主要是采集屏幕获得视频数据,采集麦克风获得音频数据,如果可以实现的话,我们还可以采集一些应用内置的音频数据。

2. 数据格式转换

主要是将获取到的视频和音频转换成常见的推流的标准格式,这样能保证让观看终端正常观看。

3. 编码处理

如果不进行编码的话,数据量会非常大,这样不仅浪费带宽,而且会浪费观看终端的性能,所以需要对音视频数据进行编码处理。

4. 封包&推流

这块的逻辑可以采用和普通的直播方式进行封装和推流。

总结:其实录屏推流直播和普通的直播的区别就是采集源发生了变化,而在技术层面来将真正需要我们做的事情就是将录屏获取到的数据处理成稳定的编码格式。

二、Android 实现录屏的思路

1. 主流实现思路: MediaProjection + VirtualDisplay 方法

在Android 5.0 发布后,谷歌开放了截屏的接口,我们可以通过VirtualDisplay来实现录屏的视频源数据的获取。

2. 偏门思路: 通过View.getDrawingCache() 方法

通过 View 的 cache 内容获取到 Bitmap 对象来达到录屏的效果。但是很多手机上面该方式会存在性能问题,另外该方式并不是一个真正意义上的录屏方式,另外部分 View 组件的内容并不能获取到,比如 webview 。

3. 需ROOT思路:读取 /dev/graphics/fb0 方法  or  screencap -p xxx.png/screenshot xxx.png 方法

  • Android 基于 Linux,所以可以通过读取 fb0 设备节点,即 framebuffer 中的帧数据来实现屏幕的录制。但是读取这个设备节点需要 root 权限。
  • screencap 是 Android shell 的命令,可以通过该 shell 命令读取到屏幕的帧数据来达到录屏的功能。但该命令仍然需要 root 权限。

三、iOS 实现录屏的思路

1. 主流思路: 通过 ReplayKit 实现

ReplayKit 是苹果 iOS 10 以上版本提供的用于录屏并对外直播的功能。简单而言就是苹果通过这个功能把采集到的屏幕视频信息和音频信息回调给开发者,开发者可以任意处理这些信息。

但是问题是,ReplayKit 使用上限制较多,首先要求系统必须为 iOS 10 以上;其次,被录屏的 App 必须支持 ReplayKit 功能。这也很容易理解,毕竟录屏是比较敏感的行为。所以必须游戏本身支持,以表示被录制方已经同意录屏。

2. 偏门思路: 通过 Airplay Mirroring 实现

Airplay Mirroring 是苹果用于屏幕投影的功能,投屏的原理就是把设备的屏幕数据和音频数据通过 Airplay Mirroring 协议传输给第三方的支持该协议的显示播放设备。但 Airplay Mirroring 是苹果的私有协议,传输过程中音视频数据都是被苹果加密的,不对第三方开放。因此要想获得这些数据,只能通过破解协议的方式来达成。

两种实现思路对比:

Android 和 iOS 实现录屏推流的方案整理