WebRTC 学习笔记(3)--媒体处理及编解码部分

时间:2022-02-17 17:11:30

说明:此系类的内容都是本人自己对libjingle native API代码的学习总结。
​其中可能存在不准确甚至是错误的内容。欢迎大家帮忙指出错误。


1, 此部分代码主要完成媒体处理,编解码,RTP/RTCP 编解码等。
​下图是主要的模块图:

WebRTC 学习笔记(3)--媒体处理及编解码部分


​2,主要模块间通信及相互引用关系。

下图中模块对应于上图中模块的描述。下图仅罗列主要模块的通信关系。

WebRTC 学习笔记(3)--媒体处理及编解码部分

WebRTC 学习笔记(3)--媒体处理及编解码部分


​3, VideoEngine模块

VideoEngine模块是媒体处理的核心模块。对外暴露媒体处理的接口,对内管理连接内部的其他模块。

下图中蓝色部分为其他模块,黄色部分为VideoEngine内部类。

VideoEngine:   对外部的接口(code中的接口是通过很多类实现,这些接口类并没有做实际工作,只是为使用方便将不同接口归类。)

VieChannel:     该模块的核心类,主要工作都在此类中实现。

ChannelGroup:包含多个channel,一个group中的所有channel共享许多资源(如带宽控制,带宽估计等)

VieCapture:     采集数据处理类。
​                          此类并没有实现真正的图像采集工作。实际的采集工作由VideoCaptureModule或externalCapture实现。

                          此模块中channel的key为一个整形的ID值。此ID值将暴露给外部模块,并作为外部模块使用本模块的关键参数。
​                          在模块内部,此key值将VieChannel和VieEncoder关联起来。
​                          在建立VieCapturer时,会根据此key将数据发送到对应的VieEncoder上,从而在模块内部实现不同类的关联。


WebRTC 学习笔记(3)--媒体处理及编解码部分

下图是发送数据时,VideoEngine内部类的调用关系

WebRTC 学习笔记(3)--媒体处理及编解码部分

下图是接收数据时,内部各类的调用关系:

WebRTC 学习笔记(3)--媒体处理及编解码部分


4, rtp_rtcp模块

此模块主要功能是:

1) 将编码器生成的数据封装成RTP包

2) 将由网络受到的数据包解析成Payload数据

如下图所示,模块主要功能有下部的4个类实现,ModuleRtpRtcpImpl 仅提供一个统一对外接口,以及一些参数检查工作。

WebRTC 学习笔记(3)--媒体处理及编解码部分

5,capture模块

此模块提供视频捕捉功能。捕捉到的数据通过VideoCaptureDataCallback回调给使用者。
在webretc项目中,此模块没有被直接使用。而是被封装成cricket::VideoCapture,然后作为一个externalCapture来使用。

WebRTC 学习笔记(3)--媒体处理及编解码部分


6, render 模块

此模块提供视频渲染功能。
​调用者通过AddIncomingRenderStream函数得到VideoRenderCallback的实例,再通过VideoRenderCallback接口的RenderFrame方法渲染图像。
在webretc项目中,真正的render工作不是由此模块提供,而是以external render的形式由外部模块提供。

WebRTC 学习笔记(3)--媒体处理及编解码部分

7, webrtc_video_coding 模块

此模块负责视频的编解码工作

WebRTC 学习笔记(3)--媒体处理及编解码部分

WebRTC 学习笔记(3)--媒体处理及编解码部分

WebRTC 学习笔记(3)--媒体处理及编解码部分


原文地址:http://blog.csdn.net/oupeng1991/article/details/28617023