视频编码中帧内预测的发展
为什么使用帧内预测?
\(\quad\) 帧内预测是一种较为简单和实用的图像压缩编码方法。预测压缩编码后传输的并不是像素值本身,而是编码像素的预测值和真实值之差,即预测误差或残差。
\(\quad\) 这是因为大量统计结果表明,同一幅图像的邻近像素之间有着很强的相关性,或者说这些像素值很相近,邻近像素值之间发生突变的概率很小。这样,编码像素的预测值往往和它的真实的像素值相差无几,预测误差很多为0或很小,我们就可以用较少的比特来表示和传输。
DCT变换之后使用帧内预测?
最佳模式选择由此而成为帧内预测编码中的一个重要问题。选择最佳预测模式的方法有很多种,其中率失真优化(RDO)方法是一种性能良好的选择方法,其原则是选择能获得最准确预测、产生码字最少的那种预测模式。
h.264/AVC
H.264/AVC中首次提出帧内预测编码。对当前块的预测是基于邻近已编码重建的块进行的。
- 对亮度像素而言,独立进行预测的块可以是16×16宏块或4×4子块。其中。4×4的亮度子块有9种可选的预测模式,适于对具有大量细节的图像进行预测;16×16的亮度块有4种预测模式(Plane Prediction,Direct Current Prediction,Horizontal Prediction,Vertical Prediction),适于对具有平坦区域的图像进行预测。
- 和16×16亮度宏块对应的色度块尺寸为8×8,也有4种预测模式,类似于16×16亮度块预测模式。
h.265/HEVC
\(\quad\) HEVC的编码框架:沿用H.264/AVC的混合编码框架,用帧间和帧内预测编码来消除时间域和空间域的冗余度,对残差进行变换编码来消除变换域的冗余度。
\(\quad\) HEVC的技术创新:灵活的图像四叉树(Quadtree)结构,,利于并行计算的波前技术以及基于上下文的算术编码技术。
\(\quad\) 亮度分量的分块包括 4x4, 8x8, 16x16, 32x32, 64x64 每一种大小的PU都有35种预测模式:包括 Planar模式DC模式以及33种角度模式。
- (1)Planar模式(解决渐变式的平滑纹理区域)
Planar模式是由H.264/AVC中的Plane模式发展而来的,它适用于图像值缓慢变化的区域。Planar模式使用水平和垂直方向的两个线性滤波器,并将二者的平均值作为当前块像素的预测值。 - (2)DC模式(适用于大面积平坦区域)
DC模式适用于大面积平坦区域,其做法与H.264/AVC基本相同。当前块预测值可由其左侧和上方(注意不包含左上角、左上方和右上方)参考像素的平均值得到。 - (3)角度模式(为了适应不同方向纹理)
VVC
2.66/VVC中,帧内预测模式从HEVC的33种扩展到65种角度预测模式,加上DC(直流平均)和Planar(平面加权平均)模式,共67个预测模式。