Inter-Layer Prediction

转自：http://forum.byr.edu.cn/pc/pccon.php?id=1727&nid=74696&s=all

几个相关语法元素

• base mode flag：指明一种宏块类型。1表示当前宏块（enhancement layer中）只编码残差信息，帧内编码模式或运动相关信息都有相应的参考层中块推导出来。EL中的宏块无论inter还是intra都可以base mode flag=1。
  

• motion prediction flag: 作用于宏块中每个partition的reference list，指明reference index、motion vector prediction是否由reference layer中相应的块推导出来。

• residual prediction flag：只要当前宏块是inter，无论base mode flag是否为1，都可以采用下述第二种inter-layer prediction。
  

三种层间预测模式：
1 Inter-Layer Motion Prediction
    base mode flag为1，且相应的参考层中的8x8块是帧间编码。Block partition信息、reference index、motion vectors由reference layer中相应的8x8块推导出来。此时block partition信息由reference layer中相应的8x8块的partition信息上采样得到。同时得到与partition相应的reference index、motion vectors（需要先被scale）。
    base mode flag为0时，还可以有一种对motion的interlayer prediction，开关为motion prediction flag：
        - motion prediction flag为1，则与此reference list相关的reference index、motion vector prediciton由reference layer中相应的块推导出来。这里与base mode flag为1时有点区别，这里只是MVP由reference layer推导出来，所以EL还要传送MVD。别忘了motion vectors需要被scale。
        - motion prediction flag为0，传统的帧间宏块。

2 Inter-layer Residual Prediction
    在enhencement layer中的inter-coded宏块，无论是采用base mode flag还是传统的帧间宏块，都可以采用这一方式。
    residual prediction flag为1，则reference layer中相应的8x8块的残差经过bilinear上采样，作为enhencement layer宏块的残差预测，enhencement layer中传送“残差的残差”。需要注意的是这里的上采样不要跨越reference layer的变换块边界，否则会降低视觉效果，具体的处理办法是对边界进行重复外拓。

3 Inter-layer Intra-prediction（Texture Prediction）
    base mode flag为1，且相应的reference layer中的8x8块是帧内编码。
    参考层中的4x4块（4个）被重构，经过去块滤波操作后上采样得到预测信号。亮度上采样采用的是4-tap的FIR滤波器，色度上采样采用的是bilinear滤波器。而后，ehencement layer传送残差系数，经反变换后加到预测信号上。
    在upsampling之前，需要对reference layer的重构信息进行去块滤波。
    为了保证sigle loop的解码，需要避免在reference layer进行motion compensation，即Constrained Inter-layer Intra-prediction。

下边的更加容易直观的概念上理解，另外，在标准中确实有着重的体现inter-layer mode prediction的语法。当然这个的确可以被归类在inter-layer motion prediction中。

层间帧内预测（Inter-layer intra prediction）：图像纹理复杂并且帧间搜索匹配不好的宏块，如果基本层采用的是帧内预测，增强层可以采用层间帧内预测模式提高编码效率。具体做法是把基本层的I块重建上采样得到增强层的预测，增强层只需要传原始图像和层间帧内预测的残差。

层间宏块模式和运动参数预测（Inter-layer macroblock mode and motion prediction）：增强层的宏块类型可以通过基本层预测获取。增强层的运动参数也可以通过基本层运动参数上采样获取。这一点是h.264SVC和其他分级编码技术的区别之一。其它分级编码技术一般通过像素域的上采样进行预测，而对于h.264SVC，认为时域相关性大的区域，利用层间的运动参数预测，在增强层做运动补偿效率更高。对于层间运动参数的预测，语法支持的颗粒大小可以是一个宏块，最小是一个8x8块。

层间残差预测（Inter-layer residual prediction）：对 于帧间编码的宏块，增强层的图像残差和基本层的图像残差具有相关性，可以利用基本层的残差进行上采样减少增强层编码的图像残差。也就传送两个残差的不同 （所谓“残差的残差”）。对于空间分辨率发生变化的层间残差预测，发生在残差像素域，计算量较大；对于空间分辨率不发生变化的层间残差预测（质量分级）， 发生在变换系数或变换电平域，计算量较小。

转自：http://blog.sina.com.cn/s/blog_7b83134b0101bqzx.html