帧间预测的原理
AMVP的原理
帧间预测的实质就是为当前的PU在参考帧中寻找一块最相似块（相似度的判断准则有SAD等方法）。但是参考图像通常都比较大，我们直接去搜索的话就太费时了，应该使用某种方法在参考图像中确定一个搜索起始点，然后再该搜索起始点的周围进行搜索，那么就能降低搜索的时间了。AMVP模式就提供了这样一种方法，在开始搜索之前，先为当前PU预测出一个MV，这个预测的MV就被称为MVP，预测的MV可以直接从空域或者时域上的相邻块直接得到，因为相邻块有多个，因此MVP也会有多个，这些MVP组成了MVP候选列表，我们需要从中选择最优的一个来作为实际的MVP，得到MVP之后，我们根MVP（MVP实际也是一个MV）来确定搜索的起始点，然后在搜索起始点的附近按照某种方法做搜索，最后得到一个最优的MV，这个MV就是实际MV，MV确定了参考块的位置，参考块与当前PU相减得到残差，达到了数据压缩的目的；
同时MV与MVP相减得到MV残差也就是MVD，也能够达到数据压缩的目的。
它的大致工作流程是：
1、根据某种方法获取MVP候选列表
2、从候选列表中选出最优的一个MVP
3、根据MVP确定运动估计的起始点
4、在起始点附近，按照某种方法进行搜索
5、搜索完毕之后得到最优的MV
6、由MV确定参考块在参考图像中的位置
7、参考块减去当前块（PU）得到残差块
8、MV减去MVP得到MVD
9、通过7和8两个步骤就能达到数据压缩的目的
merge模式的原理
帧间预测的目的就是要得到一个MV（运动向量），然后根据该MV确定参考块在参考图像中的位置，但是由于临近块的相似性（比如当前块和临近块都属于同一个物体，在镜头移动的时候，它们移动的距离和方向当然是相同的），因此很多时候我们并不需要去计算MV，我们把相邻块的MV直接当作当前块的MV。和AMVP相似，我们通过相邻块得到一个MVP候选列表，从中选出最优的一个MVP作为当前块的MV，然后根据该MV直接确定参考块的位置，确定了参考块之后就能计算残差了。因为MVP和MV相同，因此不存在MVD，因此编码的时候只需要编码MV（MVP）在候选列表中索引即可，不再需要编码MVD，解码可以按照类似的方法构造MVP候选列表，然后依据传送过来的索引就能得到MV了。
工作流程是：
1、根据某种方法获取MVP候选列表
2、从候选列表中选出最优的一个MVP，同时得到该MVP在候选列表中的索引
3、把该MVP作为当前块的MV
4、根据MV确定参考块在参考图像中的位置
5、参考块减去当前块得到残差块
6、因为MVP和MV相同，因此没有MVD，只需把残差系数和MVP的索引传给解码器就行了
skip模式的原理
skip模式是merge模式的一种特例。按照merge模式得到MV之后，如果编码器根据某种方法判断了当前块和参考块基本一样，那么不需要传输残差数据，只需要传送MV的索引和一个标志，来表明当前块可以直接从参考块得到。xEstimateMvPredAMVP的工作流程
AMVP中MVP的获取就是通过xEstimateMvPredAMVP这个函数得到的1、判断bFilled标识，该标识表示MVP候选列表是否已经建立好
2、如果bFilled是false，通过fillMvpCand获取MVP候选列表；否则，不需要重新建立MVP候选列表
3、先把MVP候选列表中的第一个MVP作为最优的MVP
4、如果候选列表中MVP的数量小于等于1，那么直接把步骤3选出的MVP返回
5、如果bFilled是true，表示MVP候选列表是原来已经建立好的，那么直接根据PU的相关信息得到最优的MVP，然后返回
6、遍历MVP候选列表，选出代价最小的MVP作为当前PU的MVP，并设置相关信息，然后返回
#if ZERO_MVD_EST
Void TEncSearch::xEstimateMvPredAMVP( TComDataCU* pcCU, TComYuv* pcOrgYuv, UInt uiPartIdx, RefPicList eRefPicList, Int iRefIdx, TComMv& rcMvPred, Bool bFilled, UInt* puiDistBiP, UInt* puiDist )
#else
Void TEncSearch::xEstimateMvPredAMVP( TComDataCU* pcCU, TComYuv* pcOrgYuv, UInt uiPartIdx, RefPicList eRefPicList, Int iRefIdx, TComMv& rcMvPred, Bool bFilled, UInt* puiDistBiP )
#endif
{
AMVPInfo* pcAMVPInfo = pcCU->getCUMvField(eRefPicList)->getAMVPInfo();
TComMv cBestMv;
Int iBestIdx = 0;
TComMv cZeroMv;
TComMv cMvPred;
UInt uiBestCost = MAX_INT;
UInt uiPartAddr = 0;
Int iRoiWidth, iRoiHeight;
Int i;
// 得到此次分割的索引和大小
pcCU->getPartIndexAndSize( uiPartIdx, uiPartAddr, iRoiWidth, iRoiHeight );
// Fill the MV Candidates
// 获取MVP（即预测的MV），MVP存放在pcAMVPInfo中
if (!bFilled)
{
pcCU->fillMvpCand( uiPartIdx, uiPartAddr, eRefPicList, iRefIdx, pcAMVPInfo );
}
// initialize Mvp index & Mvp
// 最优MVP的默认索引是0
iBestIdx = 0;
// 最优MVP默认是列表的第一个
cBestMv = pcAMVPInfo->m_acMvCand[0];
#if !ZERO_MVD_EST
// 如果MVP候选列表中MVP的数量是0或者1
if (pcAMVPInfo->iN <= 1)
{
// 得到了最优的MVP
rcMvPred = cBestMv;
pcCU->setMVPIdxSubParts( iBestIdx, eRefPicList, uiPartAddr, uiPartIdx, pcCU->getDepth(uiPartAddr));
pcCU->setMVPNumSubParts( pcAMVPInfo->iN, eRefPicList, uiPartAddr, uiPartIdx, pcCU->getDepth(uiPartAddr));
// 如果参考列表是list1（表示这是B slice）
if(pcCU->getSlice()->getMvdL1ZeroFlag() && eRefPicList==REF_PIC_LIST_1)
{
#if ZERO_MVD_EST
(*puiDistBiP) = xGetTemplateCost( pcCU, uiPartIdx, uiPartAddr, pcOrgYuv, &m_cYuvPredTemp, rcMvPred, 0, AMVP_MAX_NUM_CANDS, eRefPicList, iRefIdx, iRoiWidth, iRoiHeight, uiDist );
#else
(*puiDistBiP) = xGetTemplateCost( pcCU, uiPartIdx, uiPartAddr, pcOrgYuv, &m_cYuvPredTemp, rcMvPred, 0, AMVP_MAX_NUM_CANDS, eRefPicList, iRefIdx, iRoiWidth, iRoiHeight);
#endif
}
// 返回
return;
}
#endif
// 如果MVP候选列表已经填充完毕，那么直接返回MVP就行了
// 注意：fillMvpCand并不会修改bFilled的值，bFilled的值是函数传进来的
if (bFilled)
{
assert(pcCU->getMVPIdx(eRefPicList,uiPartAddr) >= 0);
// 选择相应的MVP
rcMvPred = pcAMVPInfo->m_acMvCand[pcCU->getMVPIdx(eRefPicList,uiPartAddr)];
return;
}
m_cYuvPredTemp.clear();
#if ZERO_MVD_EST
UInt uiDist;
#endif
//-- Check Minimum Cost.
// 遍历每一个MVP，选出代价最小的那个
for ( i = 0 ; i < pcAMVPInfo->iN; i++)
{
UInt uiTmpCost;
#if ZERO_MVD_EST
uiTmpCost = xGetTemplateCost( pcCU, uiPartIdx, uiPartAddr, pcOrgYuv, &m_cYuvPredTemp, pcAMVPInfo->m_acMvCand[i], i, AMVP_MAX_NUM_CANDS, eRefPicList, iRefIdx, iRoiWidth, iRoiHeight, uiDist );
#else
uiTmpCost = xGetTemplateCost( pcCU, uiPartIdx, uiPartAddr, pcOrgYuv, &m_cYuvPredTemp, pcAMVPInfo->m_acMvCand[i], i, AMVP_MAX_NUM_CANDS, eRefPicList, iRefIdx, iRoiWidth, iRoiHeight);
#endif
if ( uiBestCost > uiTmpCost )
{
uiBestCost = uiTmpCost;
cBestMv = pcAMVPInfo->m_acMvCand[i];
iBestIdx = i;
(*puiDistBiP) = uiTmpCost;
#if ZERO_MVD_EST
(*puiDist) = uiDist;
#endif
}
}
m_cYuvPredTemp.clear();
// Setting Best MVP
rcMvPred = cBestMv;
pcCU->setMVPIdxSubParts( iBestIdx, eRefPicList, uiPartAddr, uiPartIdx, pcCU->getDepth(uiPartAddr));
pcCU->setMVPNumSubParts( pcAMVPInfo->iN, eRefPicList, uiPartAddr, uiPartIdx, pcCU->getDepth(uiPartAddr));
return;
}
MVP候选列表的建立
AMVP模式的候选列表，列表的长度是2，建立流程如下（1）空域列表的建立。假设当前PU的左下角是A0，左侧是A1，左上角是B2，上方是B1，右上角是B0。当前PU的左侧和上方需要各产生一个候选MV。对于左侧的候选MV的筛选，处理顺序是A0->A1->scaled A0->scaled A1；对上侧的候选MV的筛选，处理的顺序是B0->B1->B2（如果这几个都不存在，那么继续处理-> scaled B0-> scaled B2）。对于左侧（上方）来说，只要找到一个候选MV，就不继续处理后面的候选者了
（2）时域列表的建立。与空域情况不同，时域候选列表不能直接使用候选块的运动信息，需要根据当前帧和参考帧之间的位置关系做相应的伸缩调整。时域最多只能提供一个候选MV。如果此时候选列表的候选MV的数量还不足2个，那么需要填充零向量。
AMVP模式的MVP候选列表是通过fillMvpCand函数建立的
Void TComDataCU::fillMvpCand ( UInt uiPartIdx, UInt uiPartAddr, RefPicList eRefPicList, Int iRefIdx, AMVPInfo* pInfo )
{
TComMv cMvPred;
Bool bAddedSmvp = false;
pInfo->iN = 0;
if (iRefIdx < 0)
{
return;
}
//-- Get Spatial MV
UInt uiPartIdxLT, uiPartIdxRT, uiPartIdxLB;
// 在宽度（横向）上有多少个分割数
UInt uiNumPartInCUWidth = m_pcPic->getNumPartInWidth();
Bool bAdded = false;
// 该函数调用的三个参数是，当前分割的索引，左下角分割的索引，右上角分割的索引
deriveLeftRightTopIdx( uiPartIdx, uiPartIdxLT, uiPartIdxRT );
deriveLeftBottomIdx( uiPartIdx, uiPartIdxLB );
// 空域候选MV的选择方式
// 要找出两个候选MV
// 假设 左下角a0，左边a1，右上角b0，上方b1，左上角b2
// 首先 按照a0->a1->scale a0->scale a1的顺序找到一个候选MV，只要找到一个就不再继续判断后面
// 然后 按照scale b0->scale b1->scale b2->b0->b1->b2的顺序再找出一个候选MV，只有在这个顺序中找到一个，就不再判断后面的了
/*
比例伸缩模式（scaled）是当参考块存在，当前Pu的参考图像跟参考块的参考图像不一致时才选用的方式（因为是空域MV选择，即参考块和当前块在同一帧中，因此才会出现
当前块和参考块参考的图像是否一致这种问题；如果是时域MV候选，那么当前块和参考块的参考图像肯定是不一致的）。
具体计算方法如下公式所示，curMV为当前Pu的候选MV，td与tb分别为当前块与参考块到他们的参考图像间的距离，colMV 为参考块的mv。
*/
TComDataCU* tmpCU = NULL;
UInt idx;
// 得到左下角的相邻的cu
tmpCU = getPUBelowLeft(idx, uiPartIdxLB);
bAddedSmvp = (tmpCU != NULL) && (tmpCU->getPredictionMode(idx) != MODE_INTRA);
// 没过没有左下角的
if (!bAddedSmvp)
{
// 得到左边的相邻的cu
tmpCU = getPULeft(idx, uiPartIdxLB);
bAddedSmvp = (tmpCU != NULL) && (tmpCU->getPredictionMode(idx) != MODE_INTRA);
}
// Left predictor search
// 添加到候选列表中
bAdded = xAddMVPCand( pInfo, eRefPicList, iRefIdx, uiPartIdxLB, MD_BELOW_LEFT);
if (!bAdded)
{
// 左边相邻的cu
bAdded = xAddMVPCand( pInfo, eRefPicList, iRefIdx, uiPartIdxLB, MD_LEFT );
}
if(!bAdded)
{
bAdded = xAddMVPCandOrder( pInfo, eRefPicList, iRefIdx, uiPartIdxLB, MD_BELOW_LEFT);
if (!bAdded)
{
xAddMVPCandOrder( pInfo, eRefPicList, iRefIdx, uiPartIdxLB, MD_LEFT );
}
}
// Above predictor search
// 右上角
bAdded = xAddMVPCand( pInfo, eRefPicList, iRefIdx, uiPartIdxRT, MD_ABOVE_RIGHT);
if (!bAdded)
{
// 上方
bAdded = xAddMVPCand( pInfo, eRefPicList, iRefIdx, uiPartIdxRT, MD_ABOVE);
}
if(!bAdded)
{
// 左上角
xAddMVPCand( pInfo, eRefPicList, iRefIdx, uiPartIdxLT, MD_ABOVE_LEFT);
}
if (!bAddedSmvp)
{
bAdded = xAddMVPCandOrder( pInfo, eRefPicList, iRefIdx, uiPartIdxRT, MD_ABOVE_RIGHT);
if (!bAdded)
{
bAdded = xAddMVPCandOrder( pInfo, eRefPicList, iRefIdx, uiPartIdxRT, MD_ABOVE);
}
if(!bAdded)
{
xAddMVPCandOrder( pInfo, eRefPicList, iRefIdx, uiPartIdxLT, MD_ABOVE_LEFT);
}
}
// 判断列表中候选者的数量，如果等于2，那么进入下面的判断
if ( pInfo->iN == 2 )
{
if ( pInfo->m_acMvCand[ 0 ] == pInfo->m_acMvCand[ 1 ] )
{
pInfo->iN = 1;
}
}
// 判断是否启用时域的MVP功能（TMVP中的T即时域的意思），如果启用了，那么选择时域候选MV
// 选择的参考块的位置位于 （当前cu所在的LCU的右下角的相邻cu），注意这是位置上，因为实际上参考块在另一个帧
// 如果不存在，那么直接用该位置的mv即可——若H位置的同位Pu（邻近已编码图像对应位置Pu）不可用，则用位置的同位Pu代替
// 缩放的方式和上面的一样
if ( getSlice()->getEnableTMVPFlag() )
{
// Get Temporal Motion Predictor
Int iRefIdx_Col = iRefIdx;
TComMv cColMv;
UInt uiPartIdxRB;
UInt uiAbsPartIdx;
UInt uiAbsPartAddr;
deriveRightBottomIdx( uiPartIdx, uiPartIdxRB );
uiAbsPartAddr = m_uiAbsIdxInLCU + uiPartAddr;
//---- co-located RightBottom Temporal Predictor (H) ---//
uiAbsPartIdx = g_auiZscanToRaster[uiPartIdxRB];
Int uiLCUIdx = -1;
if ( ( m_pcPic->getCU(m_uiCUAddr)->getCUPelX() + g_auiRasterToPelX[uiAbsPartIdx] + m_pcPic->getMinCUWidth() ) >= m_pcSlice->getSPS()->getPicWidthInLumaSamples() ) // image boundary check
{
}
else if ( ( m_pcPic->getCU(m_uiCUAddr)->getCUPelY() + g_auiRasterToPelY[uiAbsPartIdx] + m_pcPic->getMinCUHeight() ) >= m_pcSlice->getSPS()->getPicHeightInLumaSamples() )
{
}
else
{
if ( ( uiAbsPartIdx % uiNumPartInCUWidth < uiNumPartInCUWidth - 1 ) && // is not at the last column of LCU
( uiAbsPartIdx / uiNumPartInCUWidth < m_pcPic->getNumPartInHeight() - 1 ) ) // is not at the last row of LCU
{
uiAbsPartAddr = g_auiRasterToZscan[ uiAbsPartIdx + uiNumPartInCUWidth + 1 ];
uiLCUIdx = getAddr();
}
else if ( uiAbsPartIdx % uiNumPartInCUWidth < uiNumPartInCUWidth - 1 ) // is not at the last column of LCU But is last row of LCU
{
uiAbsPartAddr = g_auiRasterToZscan[ (uiAbsPartIdx + uiNumPartInCUWidth + 1) % m_pcPic->getNumPartInCU() ];
}
else if ( uiAbsPartIdx / uiNumPartInCUWidth < m_pcPic->getNumPartInHeight() - 1 ) // is not at the last row of LCU But is last column of LCU
{
uiAbsPartAddr = g_auiRasterToZscan[ uiAbsPartIdx + 1 ];
uiLCUIdx = getAddr() + 1;
}
else //is the right bottom corner of LCU
{
uiAbsPartAddr = 0;
}
}
// 对MV进行缩放处理
if ( uiLCUIdx >= 0 && xGetColMVP( eRefPicList, uiLCUIdx, uiAbsPartAddr, cColMv, iRefIdx_Col ) )
{
// 存进MVP列表候选列表中
pInfo->m_acMvCand[pInfo->iN++] = cColMv;
}
else
{
UInt uiPartIdxCenter;
UInt uiCurLCUIdx = getAddr();
xDeriveCenterIdx( uiPartIdx, uiPartIdxCenter );
if (xGetColMVP( eRefPicList, uiCurLCUIdx, uiPartIdxCenter, cColMv, iRefIdx_Col ))
{
pInfo->m_acMvCand[pInfo->iN++] = cColMv;
}
}
//---- co-located RightBottom Temporal Predictor ---//
}
if (pInfo->iN > AMVP_MAX_NUM_CANDS)
{
pInfo->iN = AMVP_MAX_NUM_CANDS;
}
// 如果没有达到指定的数量，就填充0向量
while (pInfo->iN < AMVP_MAX_NUM_CANDS)
{
pInfo->m_acMvCand[pInfo->iN].set(0,0);
pInfo->iN++;
}
// MVP候选列表中MV存放的顺序是先空域MV（左边的MV，然后上方的MV）然后再时域MV
return ;
}