android流媒体框架是从Gingerbread android2.3的时候加入的,其核心就是nuplayer。android 流媒体在4.1上资源文件主要分为httplivesource,rtspsource,genericsource.genericsource是4.1上加入的。其中Rtsp流和httplive流是最主要的,两者有本质的区别。
RTSP source是客户机在向视频服务器请求视频服务之前,首先通过HTTP协议从Web服务器获取所请求视频服务的演示描述(Presentation description )文件,在RTSP中,每个演示(Presentation)及其所对应的媒体流都由一个RTSPURL标识。整个演示及媒体特性都在一个演示描述(Presentation description )文件中定义,该文件可能包括媒体编码方式、语言、RTSP URLs、目标地址、端口及其它参数。用户在向服务器请求某个连续媒体流的服务之前,必须首先从服务器获得该媒体流的演示描述(Presentationdescription )文件以得到必需的参数,演示描述文件的获取可采用HTTP、email或其他方法。利用该文件提供的信息定位视频服务地址(包括视频服务器地址和端口号)及视频服务的编码方式等信息。然后客户机根据上述信息向视频服务器请求视频服务。视频服务初始化完毕,视频服务器为该客户建立一个新的视频服务流,客户端与服务器运行实时流控制协议RTSP,以对该流进行各种VCR控制信号的交换,如播放(PLAY)、停止(PAUSE)、快进、快退等。当服务完毕,客户端提出拆线(TEARDOWN)请求。服务器使用RTP/UDP协议将媒体数据传输给客户端,一旦数据抵达客户端,客户端应用程序即可播放输出。在流式传输中,使用RTP/RTCP/UDP和RTSP/TCP两种不同的通信协议在客户端和服务器间建立联系。总体框架如下图:
HTTP LiveStreaming(缩写是 HLS)是一个由苹果公司提出的基于HTTP的流媒体 网络传输协议。是苹果公司QuickTime X和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载,每次只下载一些。当媒体流正在播放时,客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源,允许流媒体会话适应不同的数据速率。在开始一个流媒体会话时,客户端会下载一个包含元数据的extended M3U (m3u8) playlist文件,用于寻找可用的媒体流。该视频格式为.m3u8。Httplive在android上总体框架如下图:
在android上,流媒体播放跟本地媒体播放是两个不同的架构体系,两者有啥区别呢?
1:框架层创建的player不同,local playback用的是stagefrightplayer而流媒体是nuplayer
2:跟OMX接口不一致,local playback用的是omxcodec,而流媒体用的是Acodec
3:消息机制不同,localplayback用的是TimedEventQueue模型,而流媒体用的是AHandler消息机制,类似于我们熟悉的Handler。
下一节我们讲讲流媒体的消息机制AHandler。