日前,苹果WWDC在加州拉开序幕,在这场只和软件有关的发布会上,苹果在所有产品的操作系统都加入了新功能,在软件上做了一次全方位的更新。
值得一提的是,苹果Facetime做了全新的升级,除了支持镜头滤镜和给每个人增加动漫效果,最亮眼的功能,莫过于Facetime可以支持32人同时在线语音视频群聊,支持iPhone、Macbook、iPad及Apple Watch。
同时支持32人群聊,这个功能确实亮眼。大家熟知的微信,目前也最多只能支持9人同时视频通话。不过,早在2017年3月,国内领先的实时音视频云服务商——即构科技已经可以做到同时支持32人视频通话,并且已进入实操阶段。
做到32人视频通话有多难?
虽然WebRTC等开源技术让视频通话的实现难度降低了,但在实际体验中,要实现高质量的视频通话仍然不是一件简单的事情。
要理解32人视频通话的实现难点,我们需要先了解一下视频通话的处理流程。如下所示:
一个完整的视频通话处理流程包括:采集、前处理、编码、传输、解码、后处理、播放这几环。
我们先以1V1视频通话为例,然后再拓展到32人视频通话。
1V1 视频通话的实现难点主要有如下2点:
首先,要保证通话的超低延时。从行业标准来讲,端到端的延时如果大于400ms,两人对话将无法正常进行,所以端到端的通话延时必须要控制在400ms以内。而采集、编码、传输等环节都会引入延时,因此每个环节都需要够硬的技术实力。
其次,要做好音视频的前处理,尤其是回声消除和噪声抑制。回声是指说话者能听到自己的声音,噪声很多时候是设备造成的或者环境音。回声和噪声会很大程度影响通话体验。然而能做好回声消除和噪声抑制又是一件技术门槛非常高的事情,能够做好的团队少之又少。
实现1V1视频通话已经很难,要做到32人视频通话就更难了。
从 1V1 视频通话到32人同时视频通话,除了要解决超低延时、回声消除、噪声抑制等难点外,还需要解决32人同时互动时,手机CPU消耗过高这一难题。在32人同时视频通话中,一个通话者需要推1路视频流,拉31路视频流。推流和拉流的过程中,手机要进行大量的编码解码操作,性能稍差的手机就会出现卡顿掉线等问题,如何降低CPU性能消耗保证各种机型的正常通话是一大难题。
即构是如何解决这些难题的?
为了降低延迟,即构在终端编码算法、流控、丢帧、追帧策略上都做到了极致,可以根据不同的业务环境选择合适的编码器,有效将视频延迟时间控制在100毫秒左右。即使在极差的网络环境下,延迟时间也不会超过400毫秒。
即构团队在实时音视频领域有超过16年的技术积累,即构的语音视频引擎全部采用自主研发。在回声消除方面,即构良好的双讲表现大幅领先业界同类产品。在噪声抑制方面,结合心理声学模型,即构能在提高20dB+的信噪比的同时不损伤音质。针对多人视频通话带来的CPU性能消耗问题,即构也可以将手机的CPU消耗控制在较低范围,保证在超多人视频通话情况下,各种机型仍能正常通话,而且流畅不掉线。
从刚开始支持1V1视频通话,到支持4人视频通话,到6人、12人、16人。2017年初,即构做到了支持32人同时视频通话,具体人数还可以根据需求灵活增减。
值得一提的是,当前市面上,能实现高质量视频通话的企业本就不多,能做到支持16路实时视频的企业屈指可数,而要做到支持32路,目前仅即构和苹果Facetime。
2017年,即构给好未来做了整套的视频语音解决方案,实现了支持16人实时互动的小班课堂。目前该课堂已经稳定运营了一年多,这也是国内第一个支持16路实时视频通话落地应用的项目。
好未来教育使用即构16人视频通话方案
为了打开在线教育市场,即构团队与好未来进行了深入的交流,深挖在线教育中老师、学生、家长的需求点。最终即构提供的整套解决方案,除了能实现16人同时在线视频外,还支持语音、手势、涂鸦这些趣味的答题方式,激发学生兴趣;支持课件自动切换、全程记录学习数据,全程量化教学效果,方便老师教学;支持自动录制课程、云端监控上课细节,方便家长检查。整个解决方案将教学现场多维度、立体地呈现出来,创造了在线教育新场景。
除了与好未来的合作外,即构的多路视频通话方案还广泛应用到了视频社交、视频直播、游戏、视频会议等多个领域。
映客直播使用即构6人视频连麦方案
想要体验多人视频通话效果的朋友,欢迎扫描底部二维码,体验我们的DEMO~
IOS DEMO
Android DEMO
关于即构
即构科技于2015年由QQ前总经理林友尧创立,A轮获得IDG投资,核心团队来自腾讯QQ,汇聚了来自YY和华为等厂商的顶尖语音视频人才。即构ZEGO致力于提供全球最清晰最稳定的实时语音视频云服务,助力企业业务创新,改变用户线上沟通方式。即构ZEGO深耕视频直播、视频社交、游戏语音、线上抓娃娃和在线教育等领域,赢得了映客、花椒直播、一直播、喜马拉雅FM、陌陌游戏、*之战2、和好未来等*厂商托付和信赖。