AVS3帧内预测

时间:2022-11-05 11:59:26


帧内预测是去除空域冗余的重要工具,AVS3的帧内预测是在AVS1和AVS2的基础上逐步演化来的,包括DC、plane、bi-linear、角度模式等。

AVS3帧内预测

图1 AVS帧内预测模式

AVS1支持8种角度模式,如图1(a),对于不同尺寸块使用的角度模式不同,对于4x4的intra块支持所有角度模式,对于8x8的块只能使用水平、垂直和对角线模式,对于8x8的intra块的亮度和色度分量还分别额外支持DC模式和plane模式。对于帧内模式的编码,AVS1采用MPM,MPM内有2个候选项,来自上方和左侧相邻块。

AVS2支持33种帧内预测模式,包括30种角度模式和DC、Plane、bi-linear模式,如图1(b)。30种角度模式的分布范围为[-157.5°,60°],模式3到11仅使用上方参考像素,模式25到32仅使用左侧参考像素,模式13到23同时使用上方和左侧参考像素。AVS2首次引入了bi-linear模式,如图2,对于PU右下角的像素C,其预测值为A和B的加权(权重由A和B分别到C的距离决定)。对于PU最右侧一列或最下边一行像素,其预测值为A或B和C的预测值的加权。PU中剩余像素的预测值由其上方参考像素、左侧参考像素、下边界像素、右边界像素通过双线性加权得到。

AVS3帧内预测

图2 bi-linear模式

由于AVS2引入了bi-linear模式,其MPM构造方式发生了变化,若两个相邻块都是DC模式则将DC和bi-linear模式加入MPM,否则将DC模式和最近相邻块模式加入MPM。AVS2的色度分量还有DM模式,若使用DM模式则表示色度复用亮度的模式。表1是AVS2的帧内预测模式的索引。

表1 AVS2的帧内预测模式

AVS3帧内预测

AVS3帧内预测


AVS3继承了AVS2的DC、Plane、bi-linear模式并扩展了角度模式。角度模式的范围还是[-157.5°,60°]但是数量增加到63个,如图1(c)。AVS3的MPM生成方式和AVS2类似。AVS3的帧内预测还支持SAWP(Spatial Angular Weighted Prediction),类似于VVC里的几何划分,它可以使用2个角度模式分别生成2个预测块,然后将2个预测块加权得到最终的预测块。当使用SWAP时,使用的两个角度模式都需要在码流中传输,为了降低传输负担对SAWP仅允许使用模式3到32。

在AVS1中参考像素都在整像素位置,而在AVS2中若参考像素位置不在整像素位置则使用一个4抽头插值滤波器进行1/32像素精度的插值。AVS3为了进一步提高分像素位置的预测精度,使用MIPF(Multiple Intra Prediction Filter)技术,它包含四类4抽头滤波器,由平滑滤波器和插值滤波器组成。

在AVS3中由参考像素加权得到的预测值还可以进一步通过IPF(Intra Prediction Filter)处理以提高预测精度,IPF使用相邻参考像素来调整当前预测值。

为了去除不同颜色分量间的冗余,AVS3提出TSCPM(Two Step Cross-component Prediction Mode)。TSCPM和VVC中的CCLM类似,C'=α * L + β,其中L是亮度像素的重建值,C'是中间结果,然后再使用6抽头滤波器获得最终色度预测值。TSCPM和CCLM的区别是,对于420格式CCLM先对亮度重建块下采样然后按照线性映射得到色度预测值,而TSCPM是直接在原始尺寸上对亮度块进行线性映射得到中间值,然后对中间值进行下采样。

AVS3还提出了PMC(Prediction from Multiple Cross-component)来进一步去除不同颜色分量间的冗余,PMC可以使用Y和Cb的重建值来预测Cr。
 

参考


J. Li et al., "Sub-Sampled Cross-Component Prediction for Chroma Component Coding," 2020 Data Compression Conference (DCC), 2020, pp. 203-212, doi: 10.1109/DCC47342.2020.00028.

J. Li et al., "Prediction with Multi-Cross Component," 2020 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), 2020, pp. 1-6, doi: 10.1109/ICMEW46912.2020.9105965.

Ma, S., Zhang, L., Wang, S. et al. Evolution of AVS video coding standards: twenty years of innovation and development. Sci. China Inf. Sci. 65, 192101 (2022).

Y. Piao, J. Chen, S. Lee and I. -K. Kim, "Intra coding of AVS2 Video Coding Standard," 2014 IEEE International Conference on Multimedia and Expo Workshops (ICMEW), 2014, pp. 1-5, doi: 10.1109/ICMEW.2014.6890695.