H264中I、B、P帧
I帧:只作为参考帧,采用帧内预测
B帧:以其前面的I帧或P帧和后面的P帧作为参考帧
P帧:只能以前面的I帧或P帧作为参考帧
H264中的SP SI
SP和SI是H264中引入的新技术,主要是为了适应视频流的带宽自适应和抗误码性能的要求,主要应用于流媒体服务。
SP帧就是指能够参考不同的参考帧重构出相同的图像帧。(SP和SI不同在于SI是基于帧内预测,SP是基于帧间预测)。
流媒体服务自身有一些特征,网络状况是一直变化的,有时候比较繁忙,有时候则比较空闲。针对不同的网络条件,服务器可能提供几种不同质量的数据服务,
当网络比较差时,提供比较差但是码率低的服务,当网络好时候,提供比较好码率高的服务。由于视频的编码是参考帧预测的基础上,在不同的条件下切换时
很可能会出现丢帧的现象。
如:
序列1: A1 A2 A3 A4 A5 A6 A7 A8 A9
Sab
序列2: B1 B2 B3 B4 B5 B6 B7 B8 B9
在序列1传输完A5之后想要切换到度列2上去,那么就会出现一个问题:如果B6刚好是I帧,就能够正常解析B6帧。如果B6是B帧或者P帧,那么B6就可能是参考B1-B5 中的一帧,由于这些帧之前并没有接收到,那么B6就无法正常解码,而且会影响到之后参考B6生成的其他帧。引入SP/SI之后,B6就可以参考A5和Sab来得到。根据相同的原理SP/SI还可以应用到拼接,随机接入及错误恢复等应用当中去。
值得注意的是:SP/SI只是在H264的Baseline Profile中才有,而且主要应用于流媒体服务当中。