说明:此系类的内容都是本人自己对libjingle native API代码的学习总结。
其中可能存在不准确甚至是错误的内容。欢迎大家帮忙指出错误。
1, 此部分代码主要完成媒体处理,编解码,RTP/RTCP 编解码等。
下图是主要的模块图:
2,主要模块间通信及相互引用关系。
下图中模块对应于上图中模块的描述。下图仅罗列主要模块的通信关系。
3, VideoEngine模块
VideoEngine模块是媒体处理的核心模块。对外暴露媒体处理的接口,对内管理连接内部的其他模块。
下图中蓝色部分为其他模块,黄色部分为VideoEngine内部类。
VideoEngine: 对外部的接口(code中的接口是通过很多类实现,这些接口类并没有做实际工作,只是为使用方便将不同接口归类。)
VieChannel: 该模块的核心类,主要工作都在此类中实现。
ChannelGroup:包含多个channel,一个group中的所有channel共享许多资源(如带宽控制,带宽估计等)
VieCapture: 采集数据处理类。
此类并没有实现真正的图像采集工作。实际的采集工作由VideoCaptureModule或externalCapture实现。
此模块中channel的key为一个整形的ID值。此ID值将暴露给外部模块,并作为外部模块使用本模块的关键参数。
在模块内部,此key值将VieChannel和VieEncoder关联起来。
在建立VieCapturer时,会根据此key将数据发送到对应的VieEncoder上,从而在模块内部实现不同类的关联。
下图是发送数据时,VideoEngine内部类的调用关系
下图是接收数据时,内部各类的调用关系:
4, rtp_rtcp模块
此模块主要功能是:
1) 将编码器生成的数据封装成RTP包
2) 将由网络受到的数据包解析成Payload数据
如下图所示,模块主要功能有下部的4个类实现,ModuleRtpRtcpImpl 仅提供一个统一对外接口,以及一些参数检查工作。
5,capture模块
此模块提供视频捕捉功能。捕捉到的数据通过VideoCaptureDataCallback回调给使用者。
在webretc项目中,此模块没有被直接使用。而是被封装成cricket::VideoCapture,然后作为一个externalCapture来使用。
6, render 模块
此模块提供视频渲染功能。
调用者通过AddIncomingRenderStream函数得到VideoRenderCallback的实例,再通过VideoRenderCallback接口的RenderFrame方法渲染图像。
在webretc项目中,真正的render工作不是由此模块提供,而是以external render的形式由外部模块提供。
7, webrtc_video_coding 模块
此模块负责视频的编解码工作
原文地址:http://blog.csdn.net/oupeng1991/article/details/28617023