chromium中 webrtc 视频解码过程分析

时间:2024-05-31 09:50:08

备注:本文的 webrtc 代码为 chromium (64) 代码中的第三方库。

 

1.解码

webrtc 默认采用的编码格式为 vp8,所以解码对应的解码方法也是 vp8. 
从视频 channel 接收到视频数据到执行解码算法的类图如图所示: 

chromium中 webrtc 视频解码过程分析
 
图中绿色类代表类图分析的起点,红色类代表分析类的终点。

类 BaseChannel 有一个 MediaChannel 的数据成员 media_channel_ , 在子类  VideoChannel 中,这个数据成员被转换为 VideoMediaChannel 对象。 
而 VideoMediaChannel  为纯虚基类, WebRtcVideoChannel  为其子类,所以最终 media_channel_  指向了 WebRtcVideoChannel  的对象。

 

VideoMediaChannel* media_channel() const override {
    return static_cast<VideoMediaChannel*>(BaseChannel::media_channel());
}123

当接收到第一帧视频数据后,首先会进入 VideoChannel 类,执行 SetRemoteContent_w() 函数,这个函数会调用 BaseChannel 类的 UpdateRemoteStreams_w() 函数,这个函数内部调用  BaseChannel 类的 AddRecvStream_w() 函数,在函数 AddRecvStream_w() 内部,调用 WebRtcVideoChannel 类的 AddRecvStream() 函数。 
在 AddRecvStream() 函数中,创建 WebRtcVideoReceiveStream 对象,在执行 WebRtcVideoReceiveStream  的构造函数时,执行 RecreateWebRtcVideoStream() 函数,在该函数内部通过调用创建代码,生成了一个 VideoReceiveStream 类型的对象 stream_ 。

 

void WebRtcVideoChannel::WebRtcVideoReceiveStream::
    RecreateWebRtcVideoStream() {
  if (stream_) {
    MaybeDissociateFlexfecFromVideo();
    call_->DestroyVideoReceiveStream(stream_);
    stream_ = nullptr;
  }
  webrtc::VideoReceiveStream::Config config = config_.Copy();
  config.rtp.protected_by_flexfec = (flexfec_stream_ != nullptr);
  stream_ = call_->CreateVideoReceiveStream(std::move(config));
  MaybeAssociateFlexfecWithVideo();
  stream_->Start();
}12345678910111213

在执行 VideoReceiveStream 对象的构造函数时,生成了一个 PlatformThread 类型的对象 decode_thread_,这就是视频解码线程。视频解码线程 decode_thread_ 的入口函数为 DecodeThreadFunction() ,传入的参数为一个 VideoReceiveStream  对象指针。

 

void VideoReceiveStream::DecodeThreadFunction(void* ptr) {
  while (static_cast<VideoReceiveStream*>(ptr)->Decode()) {
  }
}1234

执行 stream_  的 Start() 函数时,经过一系列准备动作,会启动 decode_thread_ 线程,在视频解码线程内部循环执行 VideoReceiveStream 的 Decode() 函数。在该函数内部,具体执行了 VideoReceiver 类型的对象 video_receiver_ 的 Decode() 函数,函数实现如下。

 

int32_t VideoReceiver::Decode(const VCMEncodedFrame& frame) {
  TRACE_EVENT0("webrtc", "VideoReceiver::Decode");
  // Change decoder if payload type has changed
  VCMGenericDecoder* decoder =
      _codecDataBase.GetDecoder(frame, &_decodedFrameCallback);
  if (decoder == nullptr) {
    return VCM_NO_CODEC_REGISTERED;
  }
  return decoder->Decode(frame, clock_->TimeInMilliseconds());
}12345678910

在 VideoReceiver  内部,有一个 VCMCodecDataBase 类型的对象 _codecDataBase ,_codecDataBase  会根据接收到的视频帧的内容选择对应的解码器,最后根据选择的解码器执行对应的 Decode() 函数。 
在 VCMCodecDataBase 内部,会根据视频帧的内容创建一个 VCMGenericDecoder 对象,在 VCMGenericDecoder 内部有一个 VideoDecoder 类型的数据成员 decoder_,实际指向的是 VP8DecoderImpl 类型对象。 
最终,调用的解码算法是 VP8DecoderImpl 里面的 Decode() 函数。

 

2.解码后的回调

在解码完毕之后,会执行一些回调操作,根据类名以及函数名字分析,大概是渲染以及数据统计相关的操作。

VideoDecoder 类有一个成员函数 RegisterDecodeCompleteCallback(DecodedImageCallback* callback) ,在解码完毕后会调用这个回调函数。

 

int VP8DecoderImpl::Decode(const EncodedImage& input_image,
                           bool missing_frames,
                           const RTPFragmentationHeader* fragmentation,
                           const CodecSpecificInfo* codec_specific_info,
                           int64_t /*render_time_ms*/) {
// 解码过程
...
ret = ReturnFrame(img, input_image._timeStamp, input_image.ntp_time_ms_, qp);
...
}12345678910

在 ReturnFrame() 函数中,执行了 DecodedImageCallback 类型的对象 decode_complete_callback_ 回调函数, decode_complete_callback_  实际指向的是 VCMDecodedFrameCallback 类型的对象。

 

int VP8DecoderImpl::ReturnFrame(const vpx_image_t* img,
                                uint32_t timestamp,
                                int64_t ntp_time_ms,
                                int qp) {
...
decode_complete_callback_->Decoded(decoded_image, rtc::nullopt, qp);
}1234567

在 VCMDecodedFrameCallback  的 Decoded() 成员函数中, 执行了以下代码:


  _receiveCallback->FrameToRender(decodedImage, qp, frameInfo->content_type);


receiveCallback 的类型为 VCMReceiveCallback,其实际指向为子类对象 VideoStreamDecoder,在子类中有 ReceiveStatisticsProxy  类型的数据成员 receive_stats_callback,主要功能是实现接收数据后的参数统计。
--------------------- 
作者:zhuiyuanqingya 
来源:**** 
原文:https://blog.****.net/zhuiyuanqingya/article/details/81639007 
版权声明:本文为博主原创文章,转载请附上博文链接!