即时通讯 音视频开发解决方案

《即时通讯 音视频开发解决方案》由会员分享，可在线阅读，更多相关《即时通讯 音视频开发解决方案（20页珍藏版）》请在装配图网上搜索。

1、AnyChat音视频应用解决方案佰锐科技 版权所有AnyChat音视频应用解决方案 广州佰锐网络科技有限公司目录一、产品介绍4二、 ANYCHAT核心功能41.实时音视频交互42.跨平台互联互通53.回音消除、噪音抑制54.P2P技术65.文件传输66.数据通信67.网络服务质量（Qos）78.双机热备79.分层架构设计710.开放接口811.安全、可靠812.音视频录制、拍照813.服务器录制814.IP组播815.文字聊天916.外部音视频输入9三、 ANYCHAT技术特点91.先进的视频编码技术H.26492.优化的音频编码技术AAC103.复杂网络环境的服务质量QoS104.动态扩容与

2、负载均衡115.特定网络环境下的利器IP组播116.P2P通信技术117.跨平台的解决方案128.开放的接口129.全景录像1310.全方位的安全保障机制14四. ANYCHAT系统架构151.拓扑结构图152.AnyChat软硬件配置参考16五、ANYCHAT技术指标17六、行业对比181.支持P2P技术182.低带宽占用183.支持高并发184.可扩展性195.高安全性19一、产品介绍 “AnyChat即时通讯平台”是一套跨平台的即时通讯解决方案，基于先进的H.264视频编码标准、AAC音频编码标准与P2P技术，支持高清视频，整合了佰锐科技在音视频编码、多媒体通讯领域领先的开发技术和丰富的

3、产品经验而设计的高质量、宽适应性、分布式、模块化的网络音视频互动平台。 “AnyChat即时通讯平台”包含了音视频处理模块（采集、编解码）、流媒体管理模块（丢包重传、抖动平滑、动态缓冲）、流媒体播放模块（多路混音、音视频同步）以及P2P网络模块（NAT穿透、UPnP支持、IP组播支持）等多个子模块，封装了底层的硬件操作（音视频采集、播放）、封装了流媒体处理（编解码、网络传输）等非常专业和复杂的技术，为上层应用提供简单的API控制接口，可以在极短的开发周期，以及极少的人力资源投入下为客户的现有平台增加音视频即时通讯、多方会议的功能。 “AnyChat即时通讯平台”分为客户端SDK和服务器SDK两

4、大部分，其中客户端SDK用于实现语音、视频的交互以及其它客户端相关的功能，而服务器SDK主要实现业务层逻辑控制，以及与第三方平台的互联等。客户端SDK和服务器SDK均支持C+、C#、VB.Net以及Delphi等开发语言。 通过“AnyChat即时通讯平台”，可以开发具有企业特色的即时通讯系统、视频游戏系统、视频会议系统、网络教学系统、语音视频聊天系统、专家咨询平台以及政府应急指挥平台等，系统的功能、界面完全由企业定制。AnyChat是国内知名音视频互动开发平台，经过长达九年之久的广泛应用和复杂化环境的检测，AnyChat SDK系统在兼容性、安全性、稳定性、易用性方面具有较高的声誉。AnyC

5、hat是佰锐科技全力打造的核心产品。二、 AnyChat核心功能1. 实时音视频交互“AnyChat即时通讯平台”支持“一对一”、“一对多”以及“多对多”等多种模式的音频、视频交互。在交互过程中，上层应用可以控制只传音频，或只传视频，或是音视频同时传输。音频数据流由内核自动播放，上层应用通过简单的API调用即可实现双方的语音交流，当有多路音频需要播放时，内核会自动进行混音处理。同时也可以通过回调将原始的音频数据（PCM）回调给上层应用。视频数据流由内核解码后，可由内核自动显示（WIN32平台需要预先设定显示窗口句柄，ANDROID平台需要预先设定显示的SURFACE），也可以通过回调的方式，将

6、原始的视频数据（YUV、RGB）回调给上层应用，由上层应用来显示视频。音视频数据走UDP通道传输，优先P2P通道，当两个用户之间的P2P通道不通时，将会通过服务器转发。2. 跨平台互联互通AnyChat支持跨平台的应用，服务器支持Windows、Linux、Unix等所有主流服务器操作系统，客户端目前支持Windows、Linux（x86、ARM）、Android以及iOS(iPhone、iPad)平台等，目前正在研发Win Phone8等平台。AnyChat的跨平台特性，为客户提供了广阔的应用空间，如实现Windows桌面用户的语音视频交互的同时，还可以定制嵌入式硬件解决方案，实现嵌入式硬件

7、与Windows桌面应用的互联互通，在部队远程指挥、政府应急系统、数字化家庭、移动视频监控、专家咨询、在线客服、呼叫中心以及移动音视频采集等领域有广泛的应用空间。3. 回音消除、噪音抑制优化的音频信号处理算法，消除环境噪音和回声，实现全双工顺畅沟通。AnyChat的噪音抑制技术原理是将实时采样的数字信号进行频谱分析，这样我们就能分析背景噪声响应的强度和频谱分布，然后根据这个模型就能设计一个滤波器，当有人讲话的时候，同时做信号分析，根据分析，ANC就能分析出讲话者的频谱，那么根据这些背景噪音和讲话者的频谱，这个滤波器根据两个信号的对比实时的改变，让讲话者声音频谱通过，对背景噪声的频谱进行抑制，降

8、低其能量，比如说降低15到20个分贝，就很明显可以感觉体验到噪音抑制的效果。4. P2P技术AnyChat针对可不经过服务器中转的音视频应用，采用了P2P通信技术，该技术的核心在于防火墙的穿越。使用P2P通信技术，可以大大的减轻系统服务器的负荷，并成几何倍数的扩大系统的容量，且并不会因为在线用户数太多而导致服务器的网络阻塞。支持UPNP协议，自动搜索网络中的UPNP设备，主动打开端口映射，提高P2P通信效率。5. 文件传输“AnyChat即时通讯平台”支持文件传输功能，可实现客户端向客户端、客户端向服务器，或是服务器向客户端发送文件。文件传输过程中内核会自动分包传输，接收端组包、校验，对方接收

9、到文件之后，将会触发对应的回调函数，通过处理回调函数，便可知晓文件传输完成。文件传输采用UDP通道，可P2P传输，内核会自动进行流量控制，达到不同网络带宽下的最佳传输效率。文件传输过程中可实时查询传输进度、传输码率等信息，方便实现界面上的传输进度条，增强系统的用户体验。6. 数据通信提供透明通道接口，实现客户端之间，客户端与服务器之间的缓冲区数据实时传输。“透明通道”顾名思义就是“AnyChat即时通讯平台”为上层应用提供的一个传输数据的通道，由于“AnyChat即时通讯平台”并不关心所传输的内容，即所传输的数据相对于平台来说是“透明”的，便称为“透明通道”。上层应用可以利用“AnyChat即

10、时通讯平台”提供的透明通道来扩展业务，传输的内容没有限制，可以为任意数据类型缓冲区，如可以利用透明通道传输业务层自定义的指令，接收方收到数据后，会产生透明通道数据回调，在回调函数里面进行指令的解析，并进行对应的业务逻辑处理。透明通道数据传输走TCP通道，内核保障数据传输的可靠性。7. 网络服务质量（Qos）满足3G、卫星、WiFi、ADSL、光纤、局域网等复杂网络环境下的音视频应用，抗丢包率达21%。8. 双机热备服务器可配置为主、从工作模式，主服务器宕机后，从服务器自动接管，提高系统的容灾能力，与第三方集群管理软件配合可实现主、从服务器的自动切换。从服务器启动之后，需要与主服务器建立通信连接

11、，等待主服务器的激活，从服务器被激活之前，不能对外提供服务。当从服务器被激活，且主服务器宕机之后，从服务器将会立即开始服务，接受客户端连接。从服务器被激活之后，可以连续工作30天，过期必须重新与主服务器建立通信连接，重新被激活。从服务器被激活之后，系统重启后可继续提供服务。当从服务器被激活，且正在提供服务时，若主服务器启动，则从服务器停止提供服务，不接受客户端的网络连接，之前已成功连接从服务器的客户端不受影响，网络连接不会被断开。9. 分层架构设计核心服务器、业务服务器互相独立，适合二次开发，业务逻辑清晰；支持分布式部署。10. 开放接口提供客户端SDK、服务器SDK，自主设计软件界面和业务逻

12、辑；支持C+、Delphi、Java、C#、VB、OBJ-C等主流开发语言。11. 安全、可靠通信数据加密传输，隐私数据安全无忧；服务器认证密码保护，防止非授权客户端连接；支持Linux服务器。12. 音视频录制、拍照“AnyChat即时通讯平台”提供API接口用于实现图像抓拍和音视频的录制。拍照保存的文件格式为JPEG，录像保存的文件格式为MP4。拍照与录像均在客户端完成，可设定录像的音视频质量，也可以单独录制音频，或视频，或是音视频一起录制均有API进行设定。拍照，或是录像完成之后，将会产生对应的回调函数，在回调函数中告知上层应用录像文件名及路径。13. 服务器录制支持在服务器端录像，集中

13、保存，录像任务可由客户端发起，也可由业务服务器发起，录像完成之后，将录像文件名反馈给业务服务器，业务服务器可保存到数据库中便于集中维护。录像保存路径可设置。14. IP组播音视频数据可通过IP组播方式发送、接受。IP组播技术需要三层交换机，或路由器支持，通常应用于专用网络，如：教育网、广电网以及企业内部网等，使用IP组播技术可以极大的降低数据发送方的带宽要求，最大的好处是可以让数据接收方的数量成千上万，而不会造成网络的阻塞。15. 文字聊天“AnyChat即时通讯平台”可以实现“一对一”和“一对多”的文字聊天，即可以只向指定用户发送文字消息，也可以向整个房间广播文字消息。文字消息在内核会加密传

14、输，走TCP通道传输，所传输数据将会传递一份副本给业务层服务器，业务层服务器可集中保存，实现一些特殊的需求。文字消息发送后，将会触发对方的回调函数，由上层应用将文字消息显示在界面上呈现给用户。16. 外部音视频输入主要满足一些特殊应用场合下的需求，通常普通用户不会使用到，使用该功能，可以由上层应用程序输入视频数据、音频数据到AnyChat，然后AnyChat再对这些数据进行编码、传输，即使用上层应用的数据做为数据源，而不使用AnyChat从本地声卡、摄像头采集的音视频数据。通过外部音视频数据输入功能，可以让AnyChat客户端的音视频数据来源更加广泛，默认情况下，AnyChat都是对本地的声卡

15、、摄像头进行采集，把采集后的音频、视频数据再进行编码、传输，而如果视频数据并不是从标准的音视频硬件设备采集，则默认的采集功能将不能满足要求。如果上层应用希望对音视频数据进行一系列的处理，然后将处理后的数据在远程显示出来，则就必须使用外部音视频数据输入功能。三、 AnyChat技术特点1. 先进的视频编码技术H.264H.264是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式。H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.52倍。 “AnyChat即时通讯平

16、台”优化了标准的H.264算法，实现较低的码率承载较高的视频质量，视频质量动态可调节，可满足不同客户、不同网络环境下的多种需求。“AnyChat即时通讯平台”采用先进去马赛克技术，保障在视频通讯过程中不出现花屏、马赛克等现象。“AnyChat即时通讯平台”的视频编码质量默认由服务器配置，也可以针对不同的客户端设置不同的视频质量，包括视频采集分辨率、帧率、编码输出码率、质量因子等参数，可动态调节。2. 优化的音频编码技术AACAAC是 MPEG1/2 Audio 的下一代有损音频编码, 并且是 MPEG-4 使用的音频编码，AAC采用了感知子带技术(perceptual sub-band tec

17、hnology)，与MP3等其它编码器相比，AAC编码器很大程度地改善了数据压缩率和声音品质。AAC同时支持多达48个音轨、15个低频音轨、更多种采样 率和比特率、多种语言的兼容能力、更高的解码效率。AnyChat即时通讯平台”采用先进的AAC（Advanced Audio Coding）语音编码体系，支持静音检测（VAD）、噪音抑制（NS）、自动增益（AGC）以及回音消除（AEC）等音效处理，极大提高用户体验。3. 复杂网络环境的服务质量QoS“AnyChat即时通讯平台”采用动态缓冲技术，会根据不同的网络状况实时调节缓冲区的大小，在实时性和流畅性之间保持平衡。当网络状况较好时，AnyCha

18、t会减小缓冲区的容量，提高音视频的实时性；当网络状况较差时，AnyChat会增大缓冲区的容量，这样会带来一些延迟的增加，但是能保障音视频的流畅性，有效消除网络抖动对音视频播放质量的影响。4. 动态扩容与负载均衡“AnyChat即时通讯平台”采用“1+N”的模式，即一套核心服务器与N套房间服务器组成服务器集群为用户提供服务。核心服务器集中管理房间服务器，可实现动态的增、减，实现动态扩容，同时也为后期维护提供便利，房间服务器为最终用户提供音视频服务。核心服务器可实时了解每台房间服务器的负载状况（并发访问用户数、网络流量、CPU以及内存等系统资源占用状况等），核心服务器内置的负载均衡模块将动态进行策

19、略调整，新用户的请求将分配到负载较轻的房间服务器进行服务。5. 特定网络环境下的利器IP组播“AnyChat即时通讯平台”支持IP组播技术，当在有三层交换机或路由器支持的专用网络，如：教育网、广电网以及企业内部网等，使用IP组播技术可以极大的降低数据发送方的带宽要求，最大的好处是可以让数据接收方的数量成千上万，而不会造成网络的阻塞。6. P2P通信技术“AnyChat即时通讯平台”针对可不经过服务器中转的音视频应用，采用了P2P通信技术，该技术的核心在于防火墙的穿越。使用P2P通信技术，可以大大的减轻系统服务器的负荷，并成几何倍数的扩大系统的容量，且并不会因为在线用户数太多而导致服务器的网络阻

20、塞。支持UPNP协议，自动搜索网络中的UPNP设备，主动打开端口映射，提高P2P通信效率。 支持UDP、TCP的网络穿透。“AnyChat即时通讯平台”采用多种策略尝试NAT的穿透，多年以来在P2P技术领域积累的丰富经验是穿透成功率的保障。7. 跨平台的解决方案“AnyChat即时通讯平台”支持跨平台的应用，服务器支持Windows、Linux、Unix等所有主流服务器操作系统，客户端目前支持Windows、Linux、Android、Web、iOS等平台，目前正在做WP7平台的移植。AnyChat的跨平台特性，为客户提供了广阔的应用空间，如实现Windows桌面用户的语音视频交互的同时，还可

21、以定制嵌入式硬件解决方案，实现嵌入式硬件与Windows桌面应用的互联互通，在部队远程指挥、政府应急系统、数字化家庭、移动视频监控以及移动音视频采集等领域有广泛的应用空间。8. 开放的接口“AnyChat即时通讯平台”分为客户端SDK（AnyChat Platform Core SDK）和服务器端SDK（AnyChat Server SDK）两大部分，其中客户端SDK用于实现语音、视频的交互以及其它客户端相关的功能，而服务器SDK主要实现业务层逻辑控制，以及与第三方平台的互联等。客户端SDK和服务器SDK均支持C+、C#、VB.Net以及Delphi等开发语言。“AnyChat即时通讯平台”采

22、用模块化技术体系，良好的平台兼容性与可扩展性，丰富的API函数，为上层应用提供了开放的应用接口。9. 全景录像音视频录制是音视频解决方案中最重要的功能特性之一，特别是一些行业应用中音视频录制是最基本的功能需求，AnyChat作为业界一流的跨平台音视频解决方案，在音视频录制方面也提供了非常完善的整体解决方案。可针对单个用户的音频、视频进行录制，也可针对通话双方的音频、视频合成录制，支持画中画、并列模式等多种合成方式，可以自定义录制参数，包括录制码率、视频分辩率等，录制的视频格式可自定义，支持MP4（默认）、WMV、FLV、MP3等，可以在客户端录制，也可以在中心服务器录制，可以在客户端进行音视频

23、合成，中心服务器对合成音视频流录制，录像服务器支持高并发，客户端录制支持的平台包括：Windows、Web、Android、iOS、Linux，服务器录制支持的平台包括：Windows、Linux（x86、x64）提供客户端录制API、服务器录制API接口，与上层业务无缝集成。10. 全方位的安全保障机制“AnyChat即时通讯平台”从设计之初就注重系统的安全保障，防止恶意用户的入侵与破坏，概括的说，“AnyChat即时通讯平台”的安全保障措施主要由如下几部分组成：a、服务器端口可以自定义。服务器所使用的TCP、UDP服务端口均可自定义（在服务器的.ini文件中配置），实现服务的隐藏；b、服务

24、器与客户端之间的底层通信协议均加密传输。防止非AnyChat客户端连接服务器，采用128bit高强度加密算法，为系统提供一道安全的屏障；c、服务器可设置连接认证密码。防止非授权AnyChat客户端连接服务器；e、服务器内部还设置有安全检测机制，一旦检测到当前连接的客户端有非法操作嫌疑（如内部通信协议没有按既定的步骤进行）时，将会主动断开该客户端的连接，并记录该连接的IP地址，在一段时间内不允许重新连接。f、上层应用可以使用服务器“SDK Filter Plus”编程接口或是“AnyChat Server SDK”实现用户身份的认证，认证过程完全开放给上层应用。四. AnyChat系统架构1.

25、拓扑结构图功能说明：a、中心服务器：主要负责服务器集群的管理，负载均衡，任务调度等任务，同时还负责与业务层服务器进行交互，将”AnyChat即时通讯平台”的用户相关请求传递给业务服务器进行处理，并将处理结果反馈给对应的用户，起中间桥梁作用。b、业务服务器：采用“AnyChat Server SDK”开发的独立服务器，负责整个系统业务流程的管理，包括用户身份鉴权认证以及业务流的控制等，起到与第三方系统互联互通的桥梁作用。c、房间服务器：负责处理终端用户在房间内的相关任务请求，转发流媒体数据，协助用户之间P2P穿透。房间服务器可动态增、减，当新的房间服务器向中心服务器注册成功之后，中心服务器的负载

26、均衡机制便会将部分用户的请求调用给新加入的房间服务器处理，减轻其它房间服务器的压力。d、PC用户：运行ANYCHAT客户端软件，提供二次开发接口（SDK），软件界面可由用户自行开发，支持多种开发语言，包括VC+、Delphi、VB.Net、C#等，封装为ActiveX插件之后可以集成到IE浏览器进行访问。e、移动智能终端用户：目前支持嵌入式Linux、Android、Mobile等平台，提供二次开发接口（SDK），实现跨平台访问，同时可与硬件平台紧密结合，实现硬件的编码、解码（需要根据具体的硬件进行定制开发），默认采用软件方式进行编码与解码。2. AnyChat软硬件配置参考在整个平台中转换服

27、务器与流媒体服务器的负载最大，需要配置较高性能的服务器，而中心服务器与业务服务器主要是管理，或是任务调度等，没有大量的计算工作，所以配置没有特殊的要求，下面的软硬件配置仅供参考，在实际项目实施的过程中可根据整个系统的负载容量来确定实际的配置参数。中心服务器、房间服务器均支持Win32、Linux等平台，可根据实际情况进行部署，业务服务器需要定制开发，所运行的软件平台需要综合考虑多种因素方能确定。推荐硬件配置如下：CPU：Intel E5506 2.13GHz/8M 四核RAM：DDR3 RDIMM 4GHD：SAS 146 GB（10K RPM）网卡： 2 x 1000M以太网卡显卡：标配五、

28、AnyChat技术指标项目列表技术参数视频编码器w H.264 AVC视频分辨率(*)w 160120 12801024（可动态调节）视频帧率w 1 30 fps（可动态调节）音频编码器w AAC、AMR-WB、SPEEX、CELT音频采样率w 8000 Hz 44100 Hz音频采样声道w Mono、Stereo目标码率w 音频：8kbps 128kbps （可动态调节）w 视频：10kbps 10Mkbps（可动态调节）P2Pw UDP over NAT、TCP over NATw UPnP传输协议w RTP/RTCP (RFC 3550/3551 (IETF SIDD0064/0065)

29、w RTSP(RFC 2326)语音增强处理w 回音消除（AEC）w 噪音抑制（NS）w 自动增益（AGC）w 静音检测（VAD）支持的操作系统w Windows 98/2K/XP/Vista, Windows 7, Windows 8w Linuxw Webw Androidw ios音视频延迟指标(*)w 网络状态较好时（无丢包，网络延迟10ms）：100msw 网络状态一般时（无丢包，网络延迟50ms）：=100msw 网络状态较差时（丢包率=5%，网络延迟100ms）：=250msw 网络状态很差时（丢包率=20%，网络延迟500ms）：=1100ms房间最大并发用户数w 800用户/

30、房间房间服务器最高并发w 核心服务器最高并发P2P连接成功率(*)w 局域网：100%w 互联网： 82%* 音视频相关参数与硬件相关；* 音视频延迟指标为发言模式下的测试值，如采用放歌模式，则内核为了保障播放的流畅性，会适当增加缓冲区大小，导致延迟增大；* P2P连接成功率为综合网络测试平均值。六、行业对比AnyChat与Adobe公司的Flash解决方案进行对比。1. 支持P2P技术AnyChat支持P2P技术，在视频通话时语音视频流优先P2P传输，即当两个客户端之间的P2P通道可用时，语音视频流直接通过P2P通道传输，不经过中心服务器，不占用中心服务器的带宽资源。当P2P不通时才经过服务

31、器转发，保障音视频应用的正常通信。Flash不支持P2P技术，所有语音视频流数据均需要通过服务器转发，需要占用大量的中心服务器带宽资源。2. 低带宽占用AnyChat单路（语音+视频）最低带宽为150kbps，而Flash单路最低带宽为300kbps，所以在同等条件于，AnyChat更节省带宽资源，对客户端或是中心端的网络要求更低，适应性更广。3. 支持高并发使用AnyChat解决方案，单台普通的双核服务器（100M独享带宽）可支撑高达5000用户的并发，系统的资源占用仍处于较低的水平。主要是因为AnyChat支持P2P技术，同时内核采用C+语言开发，并有针对性的采用线程池、内存池等技术对系统

32、资源的占用进行优化。AnyChat解决方案在视频游戏、视频聊天室等领域有较多的应用，对高并发数据的处理有独到的处理方案。同时可提供详细的压力测试报告，以及压力测试现场视频录像等相关资料。根据实际使用的数据统计， Flash解决方案单台服务器最高支持400并发，且满负荷运行时系统资源占用较高，而且同等条件下Flash解决方案实现5000并发需要1.6G的网络带宽，而AnyChat仅需要100M。4. 可扩展性AnyChat在体系架构上采用模块化设计，将音视频与业务逻辑分离，在后台开放API接口适合进行二次开发，可以进行业务逻辑的扩展，设计个性化的业务模块。随着业务的开展，当现有的API接口不能满

33、足今后的应用需求时，AnyChat可以进行API接口定制来满足更复杂的业务场景。Flash是Adobe公司封装的独立产品，后台的业务扩展性较弱，且不能针对证券行业的特定需求进行API接口定制。5. 高安全性AnyChat是佰锐科技拥有完全自主知识产权的产品，在目前国家重点关注网络信息安全的大环境下，AnyChat解决方案更适合证券行业应用，Flash的安全漏洞更容易被恶意利用。而且更重要的一点，AnyChat开放了音视频数据进行加密、解密的API接口，在有必要时，上层应用可以单独对音视频数据进行加解密，而且加解密算法由上层应用自主控制，这是Flash不能实现的特性。综合来说，相比于Adobe公司的Flash解决方案，AnyChat更适合于金融行业的视频见证、远程开户等应用场景，特别是在高并发情况下，可以显著的降低系统的网络带宽占用，节约运营成本，后续业务扩展更有保障，而且安全性更高。20