YUV 数据格式概览

YUV 的原理是把亮度与色度分离,使用 Y、U、V 分别表示亮度,以及蓝色通道与亮度的差值和红色通道与亮度的差值。其中 Y 信号分量除了表示亮度 (luma) 信号外,还含有较多的绿色通道量,单纯的 Y 分量可以显示出完整的黑白图像。U、V 分量分别表示蓝 (blue)、红 (red) 分量信号,它们只含有色彩 (chrominance/color) 信息,所以 YUV 也称为 YCbCr,C 意思可以理解为 (component 或者 color)。

维基百科上的 RGB 转 YUV 的公式能更好的反应 YUV 与 RGB 的关系,以及为什么称为 YCbCr:

YUV 存储格式


YUV 存储格式有两大类:planar 和 packed。
对于 planar 的 YUV 格式,先连续存储所有像素点的 Y,紧接着存储所有像素点的 U,随后是所有像素点的 V。相当于将 YUV 拆分成三个平面 (plane) 存储。
对于 packed 的 YUV 格式,每个像素点的 Y,U,V 是连续交替存储的。
YUV 码流又根据不同的采样方式分为 YUV4:4:4、YUV4:2:2、YUV4:2:0、YUV4:1:1 等存储格式,其中前 3 种较常见。所谓采样意思就是根据一定的间隔取值。其中的比例是指 Y、U、V 表示的像素,三者分别占的比值。可以按照如下方式理解,实现存储和扫描与 DVD 的扫描线有关。
例如:

YUV4:4:4 是指每个像素分别有一个 Y、一个 U 和一个 V 组成,即每 4 个 Y 采样,就对应 4 个 Cb 和 4 个 Cr 采样,也就是一个像素占用 8+8+8=24 位,这种存储方式图像质量最高,但空间占用也最大,空间占用与 RGB 存储时一样。对于一个 M*N分辨率的图像,该模式下存储空间占用字节数为 M*N*3。
YUV4:2:2 是指每 4 个 Y 采样,对应 2 个 Cb 和 2 个 Cr 采样,这样在解析时就会有一些像素点只有亮度信息而没有色度信息,缺失的色度信息就需要在解析时由相邻的其他色度信息根据一定的算法填充。这种方式下平均一个像素占用空间为 8+4+4=16 位。对于一个 M*N 分辨率的图像,空间占用 16/24,即 M*N*3*(16/24) = M*n*2 个字节。
YUV4:2:0 是指每 4 个 4 采样,对应 2 个 U 采样或者 2 个 V 采样,注意其中并不是表示 2 个 U 和 0 个 V,而是指无论水平下采样还是垂直下采样,色度采样都只有亮度的一半。该存储格式下,平均每个像素占用空间为 8+4+0=12 位。对于一个 M*N 分辨率的图像来说,空间占用为原来的 12/24,即 M*N*3*(12/24)=M*N*3/2。节省较多存储空间,该存储格式也最常用。
YUV4:1:1 是指每 4 个 Y 采样,对应 1 个 U 采样和一个 V 采样。平均每个像素占用空间为 8+2+2=12 位。图像空间占用情况同上。这种存储格式实际使用的非常少。

YV12/I420/YU12/NV12/NV21


YV12/I420/YU12/NV12/NV21 都属于 YUV 4:2:0。YU12 就是 I420,YV12/I420 也称为 YUV420P(即平面格式,planar),YV12 与标准模式 I420 的区别是 UV 顺序不同。
YV12 取名来源是 Y 后面紧跟 V(然后是 U),12 表示它位深为 12,也就是一个像素占用空间为 12 位。
在 I420(YU12) 格式中,U 平面紧跟在 Y 平面之后,然后才是 V 平面(即:YUV);但 YV12 则是相反(即:YVU)。大部分视频解码器的输出的原始图像都是 I420 格式(例如安卓下的图像通常都是 I420 或 NV21),而多数硬解码器中使用的都是 NV12 格式(例如 Intel MSDK、NVIDIA 的 cuvid、IOS 硬解码)。
另一类 YUV420SP, Y 分量平面格式,UV 打包格式,即 NV12。 NV12 与 NV21 类似,U 和 V 交错排列,不同在于 UV 顺序。
可理解如下:

I420: YYYYYYYY UU VV => YUV420P
YV12: YYYYYYYY VV UU => YUV420P
NV12: YYYYYYYY UVUV => YUV420SP
NV21: YYYYYYYY VUVU => YUV420SP

 

YUV:是一种颜色编码方法,常使用在各个视频处理组件中
Y'UV(模拟), YCbCr(数字), YPbPr等专有名词都可以称为 YUV,彼此有重叠
Y表示明亮度(单取此通道即可得灰度图),U和V则是描述图像的色彩饱和度,用于指定像素的颜色
编解码:采集到的视频数据一般是 RGB24,为了节省带宽,一般需要经过 编码转换(RGB2YUV) 为 NV12 进行传输;应用时一般需要经过 解码转换(YUV2RGB) 为 RGB 用于显示或后续算法
YUV 采样方式及原理:根据人眼的特点,将人眼相对不敏感的色彩信息进行压缩采样(亮度保持不变),得到相对小的文件进行播放和传输
YUV4:2:0 数据,每四个 Y 共用一组 UV 分量,在内存中的长度是 h * w + h * w / 4 + h * w / 4 = h * w *1.5,是 RGB(h * w * 3) 格式视频数据内存的一半,每个像素的 Y 数据保留, 两个像素数据只保留一个 U 或者 V 数据
YUV4:2:2 数据,每两个 Y 共用一组 UV 分量,在内存中的长度是 h * w + h * w / 2 + h * w / 2 = h * w *2,是 RGB(h * w * 3) 格式视频数据内存 2/3,每两个相邻的像素,一个丢弃 V 数据,一个丢弃 U 数据
YUV4:4:4 数据,每一个 Y 共用一组 UV 分量,在内存中的长度是 h * w + h * w + h * w = h * w *3,与 RGB(h * w * 3) 格式视频数据内存一样
YUV 存储格式:
packed(打包格式):每个像素点的 Y,U,V 是连续交叉存储的(YUVYUVYUVYUV)
planar(平面格式):先连续存储所有像素点的 Y,紧接着存储所有像素点的 U,随后是所有像素点的V(YYYYUUVV)
semi-planar(半平面格式):先连续存储所有像素点的 Y,紧接着连续交叉存储所有像素点的U,V(YYYYUV)
YUV444 & RGB 相互转换:
图形显示时常用 RGB 模型,而 YUV 常用在数据传输场景,所以这两种颜色模型之间经常需要进行转换
可以根据其采样格式来从码流中还原每个像素点的 YUV 值,进而通过 YUV 与 RGB 的转换公式提取出每个像素点的 RGB 值,然后显示出来(可参考博客:YUV 采样与恢复 )

 

 

如果图像的宽高分别是w和h,yuv420p的数据排列如下:

1,y在前面,共wh字节。

2,接着u,共wh / 4字节,宽高都是y的一半。

3,接着v,与u一样。

4,如果是视频,则一帧帧按顺序排,第一帧的yuv,第二帧的yuv,...,最后一帧的yuv,每一帧都是wh * 3 / 2字节。

 

在YUV420中,一个像素点对应一个Y,一个2X2的小方块对应一个U和V。对于所有YUV420图像,它们的Y值排列是完全相同的,因为只有Y的图像就是灰度图像。

YUV420sp与YUV420p的数据格式它们的UV排列在原理上是完全不同的:

420p它是先把U存放完后,再存放V,也就是说UV它们是连续的;

而420sp它是UV、UV这样交替存放的。


有了上面的理论,我就可以准确的计算出一个YUV420在内存中存放的大小。
width * hight =Y(总和)
U = Y / 4  
V = Y / 4

 

所以YUV420 数据在内存中的长度是 width * hight * 3 / 2,

posted on 2022-06-15 14:51  司徒轩宇  阅读(337)  评论(0编辑  收藏  举报