Android 流媒体技术见解

时间:2022-11-07 19:36:44

一、技术关键点

1. 音频采集:设置合理的采样参数,包括采样率、通道数、采样深度。

2. 视频采集:手机摄像头采集输出的格式(NV12/NV21/YV12),要注意相互间的转换,以及采集出来图像的方向应该根据那种策略进行旋转,尤其在android设备需要做更多的兼容性测试。

3. 编码和解码:熟悉的使用ffmpeg可以方便我们快速完成视频编解码的功能,但是这种方式会过多的消耗CPU而使得性能大大降低,因此采用硬编码通过GPU加速可以提升一个档次;需要注意的是IOS的硬编码兼容性会远大于Android的硬编码,所以在Android设备上做硬编码同样要采用一个有效的策略,提高其兼容性;硬解码整体的兼容性问题会少很多;

4. 协议以及网络传输:对于标准协议,用的相对较多的是RTSP/RTMP/SIP,这三种属于应用交互层的协议;在完成交互协议之后,才会使用到传输协议(TCP/UDP/RTP)

5. 技术延伸:包括点对点传输、后期视频特效处理、图像识别;

二、相关开源项目

https://github.com/FFmpeg/FFmpeg

https://github.com/BelledonneCommunications/linphone

https://github.com/asterisk/pjproject

https://github.com/appunite/AndroidFFmpeg

https://github.com/Bilibili/ijkplayer

https://github.com/cisco/openh264