音视频iphone

美要求解锁iPhone 时间:2021-02-18 阅读:()

www.
3tee.
cn叁体,视频SDK专家技术白皮书Open-AVDSDK开放的会议+直播能力平台V3.
0杭州叁体网络科技有限公司2017/04www.
3tee.
cn叁体,视频SDK专家1/29目录1.
背景.
22.
产品线.
22.
1产品线构成.
22.
2OPEN-AVDSDK.
32.
2.
1概述.
32.
2.
2服务器端接口.
32.
2.
3客户端接口.
42.
2.
4SDK分层.
62.
2.
5客户产品架构.
62.
2.
5设备与平台.
72.
2.
6服务器类型.
82.
3幸会与爱秀.
93.
技术特点与优势.
93.
1全平台支持.
103.
2领先音视频技术.
103.
3.
领先通讯技术.
123.
3.
1P2P与MCU.
123.
3.
2MCU服务器.
133.
3.
3多核CPU利用.
143.
3.
4分布式服务器集群.
153.
3.
5混合云.
163.
3.
6旁路直播.
173.
4其它.
183.
4.
1视频硬件编解码.
183.
4.
2视频混合编解码.
193.
4.
3视频动态码流.
193.
4.
4视频多流.
193.
4.
5Sip/H.
323.
193.
4.
6RTMP.
203.
4.
7RTSP.
203.
4.
8第三方音视频流倒入与倒出.
203.
5重要技术特性与指标.
204附录.
224.
1HTML5与WEBRTC.
224.
2术语表.
24www.
3tee.
cn叁体,视频SDK专家2/291.
背景杭州叁体网络科技有限公司,是国内最专业的视频通讯SDK技术公司,成立于2014年12月,总部位于杭州.
成立以来,叁体已经发展了以浙江大华股份、创业软件为代表的众多安防、医疗及教育等领域众多客户,处于快速发展期.
公司创始团队核心成员,来自思科Cisco、网迅WebEx等国内外知名网络视频会议及通讯系统公司,整个团队拥有累计数十人年相关领域产品开发与运营经验,具有深厚的国际化背景与广阔的技术与商业视野.
在多年相关经验基础上,结合业界前沿的HTML5/WebRTC等技术,叁体精心打造出了核心产品Open-AVDSDK(花名阿梵达)实时多方会议+直播能力平台(中间件),提供文字聊天、音频、视频、直播、桌面分享、录制、白板及批注等功能,全面支持iOS、Android、Windows、Mac、Linux、HTML5/WebRTC浏览器、机顶盒及智能电视等各种平台与设备.
第三方团队可在Open-AVDSDK基础之上做开发,方便快捷地在自己的产品中引入实时音视频通讯能力,实现类似视频聊天及深度定制化的会议系统+直播等功能,可广泛应用于安防应急、远程教育、远程医疗等几十个领域.
2.
产品线2.
1产品线构成叁体的主要产品线如下图中绿框和蓝框所示.
作为一家专业视频SDK技术公司,叁体的核心产品是Open-AVDSDK,英文全名是OpenAudio,www.
3tee.
cn叁体,视频SDK专家3/29Video,Data,意指开放的音频、视频与数据能力,中文花名是"阿梵达",而"幸会"(nice2meet=NicetoMeet)则是一款全功能的免费使用的会议产品,爱秀则是参体用于演示直播能力的演示程序.
"幸会"和"爱秀"基于Open-AVDSDK开发,免费使用,中短期内,其主要用途是演示Open-AVDSDK的能力,其代码开源,方便第三方团队快速学习,在Open-AVDSDK基础上快速实现自己会议+直播功能.
2.
2Open-AVDSDK2.
2.
1概述Open-AVDSDK提供人与人实时沟通协作过程中需要用到的所有基本能力,涵盖了网络会议系统、IM即时通讯系统及直播系统三大类终端产品音视频通讯的主要功能.
Open-AVDSDK由业界资深工程师精心打造,稳定可靠,第三方团队拿来就能用,不必自己去造"轮子",从而降低了第三方团队的技术风险,减少了项目的开发投入,尤其是能大幅缩短第三方团队开发具有多方音视频+数据协作能力的App/Web应用的时间.
Open-AVDSDK可用于几乎所有行业,很多业务场景中需要用到人与人实时沟通与协作的能力,而类似QQ,微信或会议系统这种通用沟通工具又不能直接使用或不能满足功能,这种情况下,Open-AVDSDK就是您最好的选择.
市场调研表明,Open-AVDSDK在医疗、教育、金融、能源、交通等各个领域,都有巨大的市场需求.
2.
2.
2服务器端接口主要功能帐户管理,用户认证,单点登陆协同(会议)安排,修改,启动系统日志统计、状态报告接口形式接口以RESTAPI方式提供,相关数据为JSON格式接口语言服务器端接口支持如下语言:JavaScriptPHPwww.
3tee.
cn叁体,视频SDK专家4/29PythonJavaC++Ruby2.
2.
3客户端接口主要功能客户端接口主要支持以下功能:文字聊天(单聊,多聊)音频(两方,多方)视频(多方)桌面共享白板批注文档共享文件传输录制直播(单向音视频,2-10秒延时)各种控制功能,如禁音,踢人等等接口形式根据第三方团队不同的开发需要,Open-AVDSDK提供三种不同级别和类型的接口,分别描述如下:接口级别接口类型功能特点适用场景1级内嵌会议/IM带UI的完整的会议或IM,可直接嵌入第三方业务系统通过配置接口,第三方应用可改变嵌入会议皮肤布局等等适用于需要完整会议或IM功能并简单定制UI的一些业务应用第三方开发工作量极小,最快的几十行代码几个小时就可完成2级组件带UI的完整功能组件,如文字聊天、视频、音频、白板、文档共享、桌面共享等等.
第三方应用系统根据需要嵌入适用于需要对业务功能及用UI/UE进行深度定制的并需要和应用业务流程进行深度整合的场景.
www.
3tee.
cn叁体,视频SDK专家5/29其用户界面中,由第三方系统决定何时以何种方式显示相关组件比如只需要音频而不需要视频和数据的纯语音系统.
第三方开发代码量小3级逻辑接口没有UI的纯数据接口除了音视频采集、编解码及传输,第三方系统完全控制音视频功能的其它所有方面,包括其UI/UE或一些特殊处理等等.
适用于需要完全控制用户UI/UE及功能的应用,同时,也为一些特殊功能开发(对将视频由彩色变黑白)提供了可能性第三方开发代码量比前两种方式大,但提供了最大的灵活性注:目前阶段,主要提供第3级接口,第2级接口正处于开发过程中.
接口语言支持主流的编程环境及语言,如JavaScript(forWebbrowser)C++(forWindows,Linux)ObjectiveC(foriOS,Mac)Java(forAndroid)C(for嵌入式Linux或Windows)C#(forWindows)www.
3tee.
cn叁体,视频SDK专家6/292.
2.
4SDK分层如上图所示,SDK本身分成两层,核心层+适配层,在SDK之上,是客户开发的应用层.
所有和音视频通讯相关的核心代码,都封装在核心层的绿色方块代表的C++库和JavaScript库中,在适配层是非常薄(因而工作量小)的一层代码,做了少量开发,以在需要的地方对不同的操作系统或浏览器做适配.
客户开发团队开发的应用层代码则根据产品需要,调用不同平台的适配层接口完成相应的功能,完全不用理会功能细节及一些技术细节,如线程模型等等.
2.
2.
5客户产品架构使用了Open-AVDSDK的第三方业务系统,其基本架构如下图所示:www.
3tee.
cn叁体,视频SDK专家7/29如上图所示,一个使用了SDK的第三方行业应用,主要由两部分组成,分别是SDK相关功能组件(绿色)及行业应用自身特定功能组件(蓝色).
SDK本身,也是由两部分组成,一是嵌入在各种业务应用客户端中的SDK代码,二是SDK通讯服务器.
SDK代码与服务器代码通过网络(局域网、互联网、移动互联网)连接,交换音视频及其它数据,从而完成相关功能.
行业应用的开发人员在需要使用音视频通讯能力的时候,简单地调用SDK中提供的各种接口即可,不必再去搞清楚音视频通讯过程需要用到的非常复杂的技术细节,如音视频采集、压缩、传输及渲染等等.
行业应用自身与音视频通讯无关的功能,则完全由行业应用开发工程师根据需要自己开发,相关数据传输、存储也完全由行业应用业务服务器自己来处理,与SDK没有关系.
需要说明的是,SDK通讯服务器中安装了所谓的USBKey(俗称硬件加密狗)来控制整个系统能使用的最大音视频并发数,从而控制Box/私有云模式中软件license的数量.
2.
2.
5设备与平台Open-AVDSDK支持现在流行的所有硬件设备及软件平台,可以运行在各种移动终端、桌面系统乃至机顶盒和智能电视上.
2015年3月,在HTML5/WebRTC标准通过仅仅4个月,Open-AVDSDK就在国内第一个宣布对它的全面兼容和支持,使得叁体成为业界第一家支持Html5/WebRTC的公司,能在浏览器中直接启动多方音视频通讯及数据协同功能,免除了用户在浏览器中下载客户端的各种麻烦,www.
3tee.
cn叁体,视频SDK专家8/29开创了极致的用户体验.
以下为支持的主要设备与平台:表1、设备支持表支持的设备支持方式接口语言iPhone,iPad原生iOS本地客户端Objective-CAndroidPhone,AndroidPad原生Android本地客户端JavaWebrtc兼容浏览器,如chrome/firefoxJavascriptWindowsPC原生Windows本地客户端C++Webrtc兼容浏览器JavascriptMacPCWebrtc兼容浏览器,如Chrome/firefoxJavascriptLinuxPCWebrtc兼容浏览器,如Chrome/firefoxJavascript机顶盒Android本地客户端Java目前主流的机顶盒都基于Android开发嵌入式Linux设备,如摄像头等等原生C本地程序C智能硬件,如机器人原生Android本地客户端Java表2、平台(操作系统)支持表支持平台备注iOS手机、平板Android手机、平板智能硬件、机器人机顶盒、智能电视WindowsWindows桌面专用工控机Mac桌面Linux嵌入式Linux一些硬件设备,如摄像头Webrtc兼容浏览器2.
2.
6服务器类型根据可靠性及复杂度不同,Open-AVDSDK的通讯服务器有不同的类型,现简要描述如下:服务器类型描述特点www.
3tee.
cn叁体,视频SDK专家9/29单机服务器软件只有单个实例可靠性低,如果出现服务器软件故联,音视频通讯服务将不可用实现简单,运维简单集群在同一个数据中心中部署很多个物理服务器运行多份SDK通讯服务器软件实例,根据房间内并发人数大小,系统选择多个物理服务器一起工作来提供服务覆盖了双机热备的所有能力高可靠性高延展性,可支持数千人在同一个房间中分布式集群在不同地方的数据中心分别部署服务器集群,所有这些集群中的服务器可以为单个房间的客户端提供音视频服务覆盖了集群的所有能力高可靠性,可实现异地灾备客户端可就近智能选择数据中心连接,可实现跨境的大规模实时多方音视频通讯注:叁体服务器支持Linux及Windows操作系统软件.
2.
3幸会与爱秀"幸会",是基于Open-AVDSDK中间件打造的一个云会议产品,提供所有会议系统的标准功能,如文字聊天、多方实时音视频、旁路直播、屏幕共享、音视频录制等功能.

"幸会"支持所有的平台,尤其是支持HTML5/WebRTC兼容浏览器,能直接从浏览器里启动、加入会议,不用下载任何插件.
"幸会"基于Open-AVDSDK开发,目前免费使用,代码开源,主要目的是演示Open-AVDSDK的能力,同时为第三方团队使用Open-AVDSDK的API/SDK提供样例代码.
"爱秀"则是叁体的直播能力演示程序.
3.
技术特点与优势叁体团队核心成员来自于WebEx和Cisco这种做网络视频会议和通讯系统的公司,在音视频及通讯产品的技术方面有多年积累,在音视频处理、音视频通讯、系统稳定性、安全性、大并发、高可用等方面,有丰富经验.
同时,作为一个新锐的技术型创业公司,叁体有能力和机会紧跟技术发展的最新趋势,兼容业界近几年发展出来的最新的成熟技术,打造出全球领先的技术平台,引领技术潮流.

现对叁体的主要产品SDK的技术特点与优势分别描述如下:www.
3tee.
cn叁体,视频SDK专家10/293.
1全平台支持2014年10月28日,在历经8年多的艰苦努力后,万维网联盟W3C终于宣布HTML5标准获得通过,这标志着新一代Web应用标准化的努力获得了决定性的进展.
除了其它很多革命性的创新功能外,HTML5中最引人入胜的特性就是WebRTC(WebRealTimeCommunication–Web实时通讯),它第一次使用一种标准的方法,在WebRTC兼容浏览器中原生引入了音视频和双向通讯能力,无需下载任何附加插件或本地Client,就能在浏览器里实现音视频聊天、会议等各种功能,开创了极致的用户体验.
叁体团队核心技术成员,一直站在音视频通讯技术的最前沿,通过和HTML5/WebRTC标准化组织专家组重要成员单位的合作,4年前WebRTC刚刚诞生之初,就开始研究跟踪HTML5/WebRTC相关技术,在兼容HTML5/WebRTC技术开发音视频及通讯产品方面,在业界遥遥领先.
2014年12月,在HTML5标准公布后仅2个月,叁体团队就注册成立了"杭州叁体网络科技有限公司",推出了兼容HTML5/WebRTC的革命性产品,Open-AVDSDK音视频通讯+数据实时协同中间件和"幸会"云会议系统,成为业界首家能无缝支持所有平台的音视频技术服务公司.
关于叁体产品支持的设备与平台详细情况,请参考2.
2.
5设备与平台.
关于HTML5/WebRTC更多信息,详见附录1.
3.
2领先音视频技术针对互联网尤其是移动互联网的特点,叁体设计和使用了专门的技术方案并做了专门的优化与调校,使得系统即使在网络情况不佳的情况下,仍能保持音视频的清晰、流畅与稳定.

尤其是,在唇音同步、音频回声消除与降噪、视频动态码流、视频混合编解码、视频硬件编解码、视频多流等方面,叁体远远领先于市场.
现把叁体Open-AVDSDK音视频特点总结如下:表2.
Open-AVDSDK音频特点项目指标、值说明编解码iSAC,iLBC,opusSpeex,AACiSAC,iLBC专门为互联网环境设计,在3G/4G环境下表现优异,质量远优于传统技术可扩展支持Speex,AAC等编解码www.
3tee.
cn叁体,视频SDK专家11/29回声消除优秀直接使用一般的笔记本外放话筒也都不会出现回声或啸叫等异常语音动态码流支持支持语音动态码流,根据网络的情况对码流进行自适应调节,因而可以在不同的网络环境中保持出色的语音质量,即使在2G网络环境中也能通话语音处理优秀具有出色的降噪、自动增益控制技术,保持语音清晰响亮网络处理优秀具有先进的抖动缓冲和丢包补偿技术,保持语音稳定、低延时音质电话音质使用了最优秀的语音处理与语音编解码技术混音支持表3.
Open-AVDSDK视频特点项目指标、值说明编解码VP8/VP9H.
264VP8/VP9专门为互联网环境设计,在3G/4G环境下表现优异可扩展支持H.
264,并可支持硬件H.
264编解码可在单个会议类场景中支持VP8与H.
264混合编码CPU消耗低码流低根据网络情况智能调整分辨率与帧率等核心指标,从而动态调整码流视频规格全面支持从176*144到1920*1080的各种规格视频图像质量优秀出色的图像处理技术,保持图像清晰稳定流畅度优秀具有先进的网络处理技术,保持图像的流畅度视频多流支持编码端将视频编码成高、中、低三路不同分辨率的码流,发送到服务器,服务器根据接收端的不同类型,发送相应的码流.
比如,手机终端接收低分辨率码流,笔记本接收中等分辨率码流,大屏幕终端接收高分辨率码流.
支持路数理论上不限根据带宽和CPU情况确定,建议PC端不超过8路,移动端不超过3路www.
3tee.
cn叁体,视频SDK专家12/293.
3.
领先通讯技术3.
3.
1P2P与MCU从架构上讲,我们有两种模式来搭建整个音视频通讯系统,分别是P2P(Peer-to-Peer)和MCU(MultipointControlUnit).
如上图所示,P2P最大特点是,所有音视频的信息直接在通讯的两个客户端之间传递,无需经过服务器的中转,在参与通讯的客户端较多的时候,每个客户端都需要和其它所有客户端建立通讯链路.
www.
3tee.
cn叁体,视频SDK专家13/29另一种同样被广泛使用的架构是MCU,其最大特点是,两个通讯的客户端之间并不直接相连,所有的音视频信息传递都通过一个处于中心位置的服务器(集群)来转发.

两种架构都有广泛的应用,分别有各自的优势与局限,现简单对比如下:表4.
P2Pvs.
MCU架构比较项目P2PMCU功能特点所有音视频数据直接在客户端之间传递所有音视频数据都经由服务器中转优点大量小规模会议时,节省带宽通过服务器集群能支持很大规模的会议,如单个房间5000人可支持一些中心化的功能,如服务器端录制缺点一个房间只能支持3-5人对客户端网络质量要求高大量小规模房间时,服务器带宽很浪费典型产品SkypeWebEx依托在网络视频会议及通讯领域的多年经验积累,叁体的工程师革命性地设计和实现了同时支持P2P和MCU两种模式的技术架构,使得系统可根据人员数量做智能动态切换成P2P或MCU模式,既节约了服务器带宽,又能支持超大并发应用场景,鱼与熊掌兼得.

3.
3.
2MCU服务器MCU服务器的最重要设计目标,是要保证所有非浏览器客户端(如iOS,Android,Windows/Mac/Linux)能和浏览器内包含的WebRTC客户端(JavaScript)互通,为此,叁体的资深工程师破解了webrtc的核心实现,采用了和浏览器实现类似的技术,完成了各种不同类型客户端通过MCU的互通.
www.
3tee.
cn叁体,视频SDK专家14/29尤其值得一提的是核心协议栈的实现.
协议栈MCU服务器实现了HTML5/WebRTC所有核心协议栈,同时,在非浏览器的本地客户端中,实现了同样的核心协议栈,保证所有不同的设备能和浏览器中WebRTC客户端通过相同的机制进行通讯并互操作.
除了的一些已有的核心协议栈实现外,考虑到功能实现及性能优化等众多因素,Open-AVDSDK的MCU服务器,自己实现了包含以下所有协议在内的所有核心协议栈:stunicertprtcphttpwebsocket……3.
3.
3多核CPU利用随着近年来CPU制造技术的突飞猛进,16核以上的CPU越来越多,而能否充分使用所有内核的能力,对于大规模PaaS平台的运营十分关键.
和一些传统的音视频厂商不同的是,叁体汲取了多年音视频及通讯系统设计中的经验教训,www.
3tee.
cn叁体,视频SDK专家15/29在成立之初就把充分利用多核CPU能力设定为最重要的技术目标之一,在服务器技术选择、架构设计和技术实现方面,都做了精心处理,使得系统在运行的时候,能充分利用所有CPU内核的能力,避免了计算资源的浪费,从而在节能降耗及IDC运营成本方面,获得明显的优势.
3.
3.
4分布式服务器集群由于历史原因,国内互联网的网络质量存在着地区差异,不同互联网ICP之间,不同地域之间,都存在一定的联通性问题,同时,跨境的互联网访问,也存在巨大的限制,这对于运营一个全国性乃至全球性的音视频+数据实时协同PaaS平台,是一个非常大的挑战.
叁体对于这个问题的解决方案是,设计开发了一个分布式的服务器集群架构(如下图所示),在全国乃至全球多地部署服务器集群.
"本地"的client根据一定智能算法,选择最佳(通常是离自己最近的)服务器集群连接,而服务器集群之间则由相关ICP通过特殊的手段来保障其连接,这样,所有client都能获得很好的网络连通性从而保证整个协同沟通的质量.
展望未来,通过和ICP的合作,叁体将开发和部署一套类似于CDN(ContentDeliveryNetwork)的分布式系统,为所有合作伙伴提供良好的实时音视频和数据共享能力服务,我们叫它RCDN(RealtimeContentDeliveryNetwork).
www.
3tee.
cn叁体,视频SDK专家16/293.
3.
5混合云从部署架构上讲,Open-AVDSDK支持"公有云"和"私有云",同时还支持"混合云"部署方式,混合云的相关部署架构如下图所示.
在这个部署架构中,最具创造性的是,使用叁体研发的专有技术,使得公网上的client能和内网上的server互通,使得一个内网上的client可以和另一个内网上的server互通.
这里的要点是,叁体公有云里部署一些server,同时,在有能力的大客户自己的一个或数个私有云中部署另一些server,这些server按照上述的分布式集群机制连接在一起,共同为内网或外网上的client提供音视频和数据共享能力.
使用这种部署架构,在为一个拥有数百人或数千人的客户提供Open-AVDSDK服务的时候,可以把所有内网上的client和大部分外网上的client都连在客户自己的私有云,客户私有云和叁体公有云之间的流量非常小,其通讯质量由IDC服务商来保证.
这样的部署架构,带来以下四大优点提升了用户体验大量Client通过局域网连MCU服务器,网络速度和质量都非常有保障,用户体验变得超级好.
降低了公有云带宽所有私有云内的client都通过局域网连接私有云中的MCU,一部分外网上的client也连在了www.
3tee.
cn叁体,视频SDK专家17/29私有云中的MCU,直接连叁体公有云的Client数量变得非常少(可能只有总参会人数的几十分之一),这就大幅降低了对叁体公有云带宽的要求,从而可节约大量带宽租用成本.

降低了私有云出口(上行)带宽同上节原因一样,私有云内client都通过局域网连接私有云中的MCU,不必连叁体公有云,这样,私有云连公有云上行流量也会大幅下降,总而降低了对私有云出口带宽的要求.

网络管理简单、安全部署信息全部存储于叁体公有云的服务器中,在客户处只部署媒体服务器的一个标准实例,非常简单易行.
由于不必将服务器暴露在公网上分配固定的公网IP,既节约了客户公网IP资源,又降低了遭受网络攻击的概率,同时,网络本身的管理还变得简单.

展望未来,混合云的一种可能走向是,叁体可生产一种标准化的服务器硬件,放置在客户的私有云中(内网),这些服务器和叁体公有云连接,一起为内外网上的所有Client提供服务.
3.
3.
6旁路直播Open-AVDSDK除了能支持实时互动音视频,还能选择某路客户端的音视频,通过第三方成熟的CDN网络推送给其它各种客户端,可支持实时互动音视频与直播功能的混合使用场景.
其基本架构如下图所示:www.
3tee.
cn叁体,视频SDK专家18/29直播的基本特性如下:特性指标备注并发数十万延时2-10秒RTMP:2-5秒HLS:10秒客户端平台微信客户端Android/ios本地客户端浏览器/Flash分辨率高至1920*1080与实时互动混合支持注:需要向第三方CDN供应商租用CDN网络3.
4其它3.
4.
1视频硬件编解码按目前的技术水平,在采用软件编解码技术的情况下,一般的移动终端能只能支持320*240www.
3tee.
cn叁体,视频SDK专家19/29规格的视频,640*480只能勉强支持,1280*720规格以上的高清视频基本上不可能.
为解决这个问题,叁体的视频引擎针对市场上的主流H.
264视频处理芯片进行了优化,覆盖了90%以上移动终端,从而为移动终端上显示高清视频提供了可能性,目前该特性支持Android4.
2和iOS7以上系统.
同时,对于一些比较少见的芯片或深度定制过的Android系统,叁体的视频引擎提供了插件接口,第三方可开发专门插件来实现H.
264硬编解码.
3.
4.
2视频混合编解码目前像Chrome这种webrtc兼容浏览器只支持VP8,在和只支持H.
264的硬件终端共处一个会议场景的时候,会存在互通问题.
为解决这个问题,叁体创造性地开发了混合编解码技术,即在可能的情况下,在视频采集端同时使用两种编码技术分别编码,发出两种不同的视频数据流,由服务器根据连上来的客户端的能力,选择不同的视频数据发出.
3.
4.
3视频动态码流互联网尤其是移动互联网的网络情况比较复杂,容易出现各种波动,造成视频卡顿等问题.