iOS高级编程之多媒体的应用

时间:2022-05-02 13:38:22

多媒体的应用

视频使用开发

视频播放

MPMoviePlayerController
AVPlayer

直播开发

直播流程:

音视频采集-》
视频滤镜-》
音视频编码-》
推流-》
流媒体服务器-》
拉流-》
音视频解码-》
音视频播放

采集端流程

音视频采集
音视频处理:(美颜、水印)
音视频编码压缩
把音视频封装FLV.TS

常用框架

AVFoundation框架:数据
GPUImage框架:美颜
FFmpeg框架:音频压缩
X264框架:视频压缩
libremp框架:推流(RTMP)

服务器流程

数据分发(CDN)
鉴黄:鉴黄师
截屏:展示主播画面
录制视频
实时转码

常用服务器

SNS
BMS
nginx

播放端流程

从FLV.TS中分离音视频数据
音视频解码
播放
聊天互动

常用框架

ijkPlayer:播放
FFmpeg:视频解码
VideoToolbox:视频硬解码
AudioToolbox:音频硬解码

直播App技术要点

iOS高级编程之多媒体的应用

视频/音频处理
图形处理
视频/音频压缩
CDN分发
即时通讯技术