视频压缩学习

前言

最近在做视频相关的项目，需要了解一下视频压缩，所以就去网上查了资料，如何整理出了这篇文章。
文章主要从两个方面入手。
为什么需要压缩视频？
怎么样进行视频压缩？

为什么需要压缩视频

首先回答why这个问题。
假设一个2小时未压缩的高清视频，1920×1080p的电影，我们来计算一下他的存储容量。先介绍一下帧率(frame rate或者是 FPS)概念，也就是每秒传输图片的帧数，也可以理解为图形处理器每秒能够刷新几次。由于人眼的特性-视觉暂留，帧率要在20以上才会感觉流畅。之前的电影帧率一般是24。拓展：为什么游戏帧数要60才流畅，而电影只需要24
2小时×60分钟×60秒×25 帧率×1920×1080 像素 ×3/2 每像素字节数 = 5599GB
一部高清电影占了这么大空间，不能忍。
所以，为了存储和传输方便，压缩视频，必不可少。

如何压缩视频

接下来回答怎么进行视频压缩。
介绍最基本的概念：
信息压缩是通过去除资料中的冗余信息而达成。就视频而言，冗余信息可以分成四类：

• 时间上的冗余信息（temporal redundancy）
  在视频中，相邻的帧（frame）与帧之间通常有很强的关连性，这样的关连性即为时间上的冗余信息。这即是上一次学习中的帧间压缩。连续的图像往往非常相近，由于一些小运动造成了细小差别。这种减小冗余的方法可以存储和上一帧或者下一帧不同的地方。这样就可以减少存储了。这个过程就称作运动补偿。位移是利用运动向量得出的。

• 空间上的冗余信息（spatial redundancy）
  在同一张帧之中，相邻的像素之间通常有很强的关连性，这样的关连性即为空间上的冗余信息。这即是上一次学习中的帧内压缩。比如一个像素点是绿色，那它相邻的像素点可能就是深绿或者浅绿，甚至就是绿。

• 统计上的冗余信息（statistical redundancy）
  统计上的冗余信息指的是欲编码的符号（symbol）机率分布是不均匀（non-uniform）的。

• 感知上的冗余信息（perceptual redundancy）
  感知上的冗余信息是指在人在观看视频时，人眼无法察觉的信息。

视频压缩（Video compression）是指运用压缩技术将数位视频中的冗余信息去除，降低表示原始视频所需的存储量，以便视频资料的传输与储存。实际上，原始视频资料的容量往往过大，例如未经压缩的电视品质视频的位元率高达216Mbps，绝大多数的应用无法处理如此庞大的容量，因此视频压缩是必要的。目前最新的视频编码标准为ITU-T视讯编码专家组（VCEG）和ISO／IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）所提出的H.264/AVC。

一个典型的视频编码器：在进行当前信号编码时，编码器首先会产生对当前信号做预测的信号，称作预测信号（predicted signal），预测的方式可以是时间上的预测（interprediction），亦即使用先前帧的信号做预测，或是空间上的预测 （intra prediction），亦即使用同一张帧之中相邻像素的信号做预测。得到预测信号后，编码器会将当前信号与预测信号相减得到残余信号（residual signal），并只对残余信号进行编码，如此一来，可以去除一部份时间上或是空间上的冗余信息。接着，编码器并不会直接对残余信号进行编码，而是先将残余信号经过变换（通常为离散余弦变换）然后量化以进一步去除空间上和感知上的冗余信息。量化后得到的量化系数会再透过熵编码，去除统计上的冗余信息。

• H264
  H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称，在编码方面，我理解的他的理论依据是：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内。所以对于一段变化不大图像画面，我们可以先编码出一个完整的图像帧A，随后的B帧就不编码全部图像，只写入与A帧的差别，这样B帧的大小就只有完整帧的1/10或更小！B帧之后的C帧如果变化不大，我们可以继续以参考B的方式编码C帧，这样循环下去。这段图像我们称为一个序列（序列就是有相同特点的一段数据），当某个图像与之前的图像变化很大，无法参考前面的帧来生成，那我们就结束上一个序列，开始下一段序列，也就是对这个图像生成一个完整帧A1，随后的图像就参考A1生成，只写入与A1的差别内容。
  在H264协议里定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，还有一种参考前后的帧编码的帧叫B帧。
  H264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成I帧的算法，帧间压缩是生成B帧和P帧的算法。
• H264/AVC核心技术概览

帧间和帧内预测
DCT变换（和反变换）
量化（和反量化）
环路滤波
熵编码

压缩算法说明

• H264的压缩方法:
  1.分组:把几帧图像分为一组(GOP，也就是一个序列),为防止运动变化,帧数不宜取多。
  2.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;
  3.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;
  4.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

首先介绍几个概念

• 有损压缩和无损压缩
  在视频压缩中有损（Lossy ）和无损（Lossless）的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损 压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越小，丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压 缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。
  无损格式，例如WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack(WV)
  有损格式，例如MP3，Windows Media Audio（WMA），Ogg Vorbis（OGG），AAC

• 对称编码和不对称编码
  对称性（symmetric）是压缩编码的一个关键特 征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中，一般是把视频预先压缩处理好，尔后再播放，因此可以采用不对称（asymmetric）编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。一般地说，压缩一段视频的时间比回放（解压缩）该视频的时间 要多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片断实时回放时间只有三分钟。

• 空间压缩
  帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩是编码一个完整的图像，所以可以独立的解码、显示。帧内压缩一般达不到很高的压缩，跟编码jpeg差不多。
  　　

• 时间压缩
  帧间（Interframe）压缩的原理是：相邻几帧的数据有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息,根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporal compression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。

序列(GOP)

在H264中图像以序列为单位进行组织，一个序列是一段图像编码后的数据流。
一个序列的第一个图像叫做 IDR 图像（立即刷新图像），IDR 图像都是 I 帧图像。H.264 引入 IDR 图像是为了解码的重同步，当解码器解码到 IDR 图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果前一个序列出现重大错误，在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。
一个序列就是一段内容差异不太大的图像编码后生成的一串数据流。当运动变化比较少时，一个序列可以很长，因为运动变化少就代表图像画面的内容变动很小，所以就可以编一个I帧，然后一直P帧、B帧了。当运动变化多时，可能一个序列就比较短了，比如就包含一个I帧和3、4个P帧。
在视频编码序列中，GOP即Group of picture（图像组），指两个I帧之间的距离，Reference（参考周期）指两个P帧之间的距离（如下图3.1）。一个I帧所占用的字节数大于一个P帧，一个P帧所占用的字节数大于一个B帧（如下图3.1所示）。

　　
所以在码率(通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件)不变的前提下，GOP值越大，P、B帧的数量会越多，平均每个I、P、B帧所占用的字节数就越多，也就更容易获取较好的图像质量；Reference越大，B帧的数量越多，同理也更容易获得较好的图像质量。
需要说明的是，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP值也不宜设置过大。
同时，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。

三种帧说明

I帧

I帧:即Intra-coded picture（帧内编码图像帧），I帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）。又称为内部画面 (intra picture)，I 帧通常是每个 GOP（MPEG 所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图象。在MPEG编码的过程中，部分视频帧序列压缩成为I帧；部分压缩成P帧；还有部分压缩成B帧。I帧法是帧内压缩法，也称为“关键帧”压缩法。I帧法是基于离散余弦变换DCT（Discrete Cosine Transform）的压缩技术，这种算法与JPEG压缩算法类似。采用I帧压缩可达到1/6的压缩比而无明显的压缩痕迹。

• I帧特点:
  1.它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;
  2.解码时仅用I帧的数据就可重构完整图像;
  3.I帧描述了图像背景和运动主体的详情;
  4.I帧不需要参考其他画面而生成;
  5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
  6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
  7.I帧不需要考虑运动矢量;
  8.I帧所占数据的信息量比较大。

• I帧编码流程
  (1)进行帧内预测，决定所采用的帧内预测模式。
  (2)像素值减去预测值，得到残差。
  (3)对残差进行变换和量化。
  (4)变长编码和算术编码。
  (5)重构图像并滤波，得到的图像作为其它帧的参考帧。

在视频会议系统中，终端发送给MCU（或者MCU发送给终端）的图像，并不是每次都把完整的一幅幅图片发送到远端，而只是发送后一幅画面在前一幅画面基础上发生变化的部分。如果在网络状况不好的情况下，终端的接收远端或者发送给远程的画面就会有丢包而出现图像花屏、图像卡顿的现象，在这种情况下如果没有I帧机制来让远端重新发一幅新的完整的图像到本地（或者本地重新发一幅新的完整的图像给远端），终端的输出图像的花屏、卡顿现象会越来越严重，从而造成会议无法正常进行。
在视频画面播放过程中，若I帧丢失了，则后面的P帧也就随着解不出来，就会出现视频画面黑屏的现象；若P帧丢失了，则视频画面会出现花屏、马赛克等现象。
在视频会议系统中I帧只会在会议限定的带宽内发生，不会超越会议带宽而生效。I帧机制不仅存在于MCU中，电视墙服务器、录播服务器中也存在。就是为了解决在网络状况不好的情况下，出现的丢包而造成的如图像花屏、卡顿，而影响会议会正常进行。

P帧

P帧:即Predictive-coded Picture（前向预测编码图像帧）。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）

• P帧的预测与重构
  P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。

• P帧特点:
  1.P帧是I帧后面相隔1~2帧的编码帧;
  2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);
  3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;
  4.P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;
  5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;
  6.由于P帧是参考帧,它可能造成解码错误的扩散;
  7.由于是差值传送,P帧的压缩比较高。

B帧

B帧:即Bidirectionally predicted picture（双向预测编码图像帧)。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累。

• B帧的预测与重构
  B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和,得到B帧“某点”样值,从而可得到完整的B帧。采用运动预测的方式进行帧间双向预测编码

• B帧特点
  1.B帧是由前面的I或P帧和后面的P帧来进行预测的;
  2.B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量;
  3.B帧是双向预测编码帧;
  4.B帧压缩比最高,因为它只反映丙参考帧间运动主体的变化情况,预测比较准确;
  5.B帧不是参考帧,不会造成解码错误的扩散

在 MPEG-4 中有四种参考模式，如果是同时参考前后的画面压缩，则记录的是 和 (前画面 pixel 值后+画面 pixel 值)/2 的差值，也就是和“前后画面的平均”的差值。所以记录的差值个数和P帧一样，只有一个，没有增加。
而因为B帧位于前后画面的中间，以“前后画面的平均”，也就是“前后画面的中间值”来作为预测数值（预测B帧的 pixel 数值为多少？如果有误差，再记录差值），这样这个预测数值会比单独使用前一个画面来预测，更接近真正的B帧的数值，可想而知，如此所需要记录的差值就会很小甚至可以根本不用记录，所以便可以省下很多的 bits，提高压缩率。
例如 I B P 7 8 9
如果B只参考前一个画面压缩，则需记录差值 1。如果以 (I P)/2 压缩，则差值为 0，不需记录差值。（虽然要记录两个矢量，不过矢量也可以再做进一步预测压缩，总的来说，还是会比单独参考前一个画面压缩来得小很多）如果画面不是这样变化怎么办？通常来讲画面都会是这样变化，如果不是这样变化我们就不使用B帧就算变化不是如此规则，换个方式想，B帧可以参考的画面还是比P帧多，再怎么找，也还是B帧可以找到误差更小的方块来使用的机率大（因为可以选择、参考的对象较多），所以B帧还是比P帧的压缩率来得高。（而且高很多，差距非常大）
除了压缩率以外，B帧对画质的影响.....是有的，因为B帧这种参考前后画面的特性，等于有内插（interpolation）的效果，所以可以减少噪讯。

• P 帧和 B 帧编码的基本流程：
  (1)进行运动估计，计算采用帧间编码模式的率失真函数(节)值。P 帧 只参考前面的帧，B 帧可参考后面的帧。
  (2)进行帧内预测，选取率失真函数值最小的帧内模式与帧间模式比较，确定采用哪种编码模式。
  (3)计算实际值和预测值的差值。
  (4)对残差进行变换和量化。
  (5)若编码，如果是帧间编码模式，编码运动矢量。

IDR

IDR（Instantaneous Decoding Refresh）--即时解码刷新。
I帧:帧内编码帧是一种自带全部信息的独立帧，无需参考其它图像便可独立进行解码，视频序列中的第一个帧始终都是I帧。
I和IDR帧都是使用帧内预测的。它们都是同一个东西而已,在编码和解码中为了方便，要首个I帧和其他I帧区别开，所以才把第一个首个I帧叫IDR，这样就方便控制编码和解码流程。 IDR帧的作用是立刻刷新,使错误不致传播,从IDR帧开始,重新算一个新的序列开始编码。而I帧不具有随机访问的能力，这个功能是由IDR承担。 IDR会导致DPB（DecodedPictureBuffer 参考帧列表——这是关键所在）清空，而I不会。IDR图像一定是I图像，但I图像不一定是IDR图像。一个序列中可以有很多的I图像，I图像之后的图像可以引用I图像之间的图像做运动参考。一个序列中可以有很多的I图像，I图像之后的图象可以引用I图像之间的图像做运动参考。
对于IDR帧来说，在IDR帧之后的所有帧都不能引用任何IDR帧之前的帧的内容，与此相反，对于普通的I-帧来说，位于其之后的B-和P-帧可以引用位于普通I-帧之前的I-帧。从随机存取的视频流中，播放器永远可以从一个IDR帧播放，因为在它之后没有任何帧引用之前的帧。但是，不能在一个没有IDR帧的视频中从任意点开始播放，因为后面的帧总是会引用前面的帧 。
收到 IDR 帧时，解码器另外需要做的工作就是：把所有的 PPS 和 SPS 参数进行更新。
对IDR帧的处理(与I帧的处理相同)：(1) 进行帧内预测，决定所采用的帧内预测模式。(2) 像素值减去预测值，得到残差。(3) 对残差进行变换和量化。(4) 变长编码和算术编码。(5) 重构图像并滤波，得到的图像作为其它帧的参考帧。
多参考帧情况下， 举个例子 ：有如下帧序列： IPPPP I P PPP ……。按照 3 个参考帧编码。
因为“按照 3 个参考帧编码”，所以参考帧队列长度为 3 。
遇到第二个 I 时，并不清空参考帧队列，把这个 I 帧加入参考帧队列（当然 I 编码时不用参考帧。）。再检测到其后面的 P 帧时，用到之前的 PPI 三帧做参考了。

I、B、P各帧是根据压缩算法的需要，是人为定义的,它们都是实实在在的物理帧。一般来说，I帧的压缩率是7（跟JPG差不多），P帧是20，B帧可以达到50。可见使用B帧能节省大量空间，节省出来的空间可以用来保存多一些I帧，这样在相同码率下，可以提供更好的画质。
从上面的解释看，我们知道I和P的解码算法比较简单，资源占用也比较少，I只要自己完成就行了，P呢，也只需要解码器把前一个画面缓存一下，遇到P时就使用之前缓存的画面就好了，如果视频流只有I和P，解码器可以不管后面的数据，边读边解码，线性前进，大家很舒服。

但网络上的电影很多都采用了B帧，因为B帧记录的是前后帧的差别，比P帧能节约更多的空间，但这样一来，文件小了，解码器就麻烦了，因为在解码时，不仅要用之前缓存的画面，还要知道下一个I或者P的画面（也就是说要预读预解码），而且，B帧不能简单地丢掉，因为B帧其实也包含了画面信息，如果简单丢掉，并用之前的画面简单重复，就会造成画面卡（其实就是丢帧了），并且由于网络上的电影为了节约空间，往往使用相当多的B帧，B帧用的多，对不支持B帧的播放器就造成更大的困扰，画面也就越卡。

片、场、帧、宏块的概念

H264结构中，一个视频图像编码后的数据叫做一帧，一帧由一个片（slice）或多个片组成，一个片由一个或多个宏块（MB）组成，一个宏块由16×16的yuv数据组成。宏块作为H264编码的基本单位。
采用 CIF 及 QCIF 格式时，视频信号的结构采用图像、块组（GOB，group of block） 、宏块（MB，macroblock 16×16） 、块（B，block 8×8）四级结构。

1帧 = n个片
1片 = n个宏块
1宏块 = 16x16yuv数据

场和帧：视频的一场或一帧可用来产生一个编码图像。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。
宏块：一个编码图像通常划分成若干宏块组成，一个宏块由一个16×16亮度像素和附加的一个8×8 Cb和一个8×8 Cr彩色像素块组成。
片：每个图象中，若干宏块被排列成片的形式。片分为I片、B片、P片和其他一些片。

I片只包含I宏块，P片可包含P和I宏块，而B片可包含B和I宏块。
I宏块利用从当前片中已解码的像素作为参考进行帧内预测。
P宏块利用前面已编码图象作为参考图象进行帧内预测。
B宏块则利用双向的参考图象（前一帧和后一帧）进行帧内预测。

解码过程

解码过程主要包括四个阶段：熵编码、反向量化、反向DCT（discrete cosine transform）和去区块滤波（deblocking filter 缩写DBF）。
熵编码法是一种独立于介质的具体特征的进行无损数据压缩的方案。常见熵编码方法：霍夫曼编码，算术编码，行程编码.
在数字信号处理领域，量化指将信号的连续取值（或者大量可能的离散取值）近似为有限多个（或较少的）离散值的过程。量化主要应用于从连续信号到数字信号的转换中。连续信号经过采样成为离散信号，离散信号经过量化即成为数字信号。Quantization is the main reason why video coding is lossy, i.e., some information is lost. Usually, however, the error is too small to be noticeable for the human eye. Then, an inverse DCT (IDCT) is applied to the reconstructed coefficients to obtain the residual data. The residual data represent the difference between the original signal and the predicted signal. The DCT, which is performed by the decoder, concentrates the signal information in a few components,which again compresses the information, and the decoder has to perform the inverse transform.
The predicted signal is created either with intra- or inter-prediction. Thereafter,the decoder adds the predicted signal to the residual data to obtain the reconstructed signal.
离散余弦变换（DCT）的基本思路是将图像分解为8×8的子块或16×16的子块，并对每一个子块进行单独的DCT变换，然后对变换结果进行量化、编码。随着子块尺寸的增加，算法的复杂度急剧上升，因此，实用中通常采用8×8的子块进行变换，但采用较大的子块可以明显减少图像分块效应。在图像压缩中，一般把图像分解为8×8的子块，然后对每一个子块进行DCT变换、量化，并对量化后的数据进行Huffman编码。DCT变换可以消除图像的空间冗余，Huffman编码可以消除图像的信息熵冗余。
DCT 是无损的，它只将图像从空间域转换到变换域上，使之更能有效地被编码。对一个图像子块而言，将对变换后的64个系数进行量化，并对Z字顺序扫描系数表进行 编码。这种排列方法有助于将低频非0系数置于高频系数之前，直流系数由于包含了所有图像特征中的关键部分而被单独编码。量化后的系数经过熵编码进一步无损 压缩，通常采用的是Huffman编码。这种压缩编码方法中，图像质量的降低主要是由于对系数的量化造成，且不可恢复。
去区块滤波器(deblocking filter)又称去块效应滤波器是一种减少在区块边界产生视觉上瑕疵的滤波器。这种这种视觉瑕疵可称为区块效应（Blocking Effect），这种效应主要构成原因是因为以区块为基础（Block-Based）的编解码器（Codec）所造成的人造边界（Blocking Artifacts）。以区块为基底的编解码器有很多种，H.264/高阶视讯编码（Advanced Video Coding, AVC）以及H.265/高效率视讯编码（High Efficiency Video Coding, HEVC）都是这类型的编解码器，而这些编解码器均会在解码（Decode）过程中利用去区块滤波器将区块效应的影响降低以改善视讯影像的品质。
以区块为基础的边解码器在预测（Prediction）或是转换（Transform）编码时，无论是高阶视讯编码中的宏区块（Macroblock）或是高效率视讯编码中的编码树单元（Coding Tree Unit）都会将影像分成区块再做编码。因此影像重建时会造成在区块间边缘处不连续的现象，这个现象称为区块效应，而这些区块边缘间视觉上的不连续称为人造边界。人造区块主要成因可在细分成两个，第一个是因为预测时出现不准的地方称为残量（Residual），残量会利用离散余弦变换（Discrete Cosine Transform, DCT）做量化（Quantization），由于量化与反量化会产生误差，因此会在区块边界上产生视觉上的不连续。第二个原因是来自运动补偿，同一个画面内相邻区块可能不是从前几个编码影像中相邻区块取得来做预测，因此造成不连续的现象。同样地，画面内预测的方式也可能会造成影像不连续。去区块滤波器主要有三个工作，分别边界强度计算（Boundary Strength Computation）、边界分析（Boundary Analysis）及滤波器应用（Filter Implementation）。

边界强度计算：主要是去计算边界强度（Boundary Strength, Bs）这个参数，边界强度呈现出相邻区块边界不连续的程度，而这个参数会跟量化的方式、区块类型、移动向量以及边界取样的梯度有关。
边界分析：因为区块边缘不连续的现象可能真的是物件边缘所产生，并非所谓的人造边界，这个工作主要在判断是否为人造边界。
滤波器的应用：做完前面两个工作可以决定边界强度以及判断是否真的为人造边界，这个工作主要对人造边界依造对应的边界强度选择该应用的滤波器。

几种画质

H264有四种画质级别，分别是BP、EP、MP、HP

• BP
  BP-Baseline Profile：基本画质。支持I/P帧，只支持无交错（Progressive）和CAVLC;
• EP
  EP-Extended Profile:进阶画质。支持I/P/B/SP/SI帧，只支持无交错（Progressive）和CAVLC;
• MP
  MP-Main Profile：主流画质。提供I/P/B帧，支持无交错（Progressive）和交错（Interlaced），也支持CAVLC和CABAC的支持
• HP
  HP-High Profile：高级画质。在Main Profile基础上增加了8×8内部预测、自定义量化、无损视频编码和更多的YUV格式

在相同配置情况下，HP可以比MP节省10%的码流量，比MPEG-2节省60%码流量，具有更好的编码性能。根据应用领域的不同，Baseline Profile多应用于实时通信领域，Main Profile多应用于流媒体领域，High Profile则多应用于广电和存储领域。

H264技术亮点

• 分层设计
  H264算法在概念上分为两层：视频编码层（VCL：Video Coding Layer）负责高效的视频内容表示，网络提取层（NAL：Network Abstraction Layer）负责以网络所要求的恰当的方式对数据进行打包和传送。在VCL和NAL之间定义了基于分组方式的接口，打包和相应的信令术语是NAL的一部分。这样，高效编码和网络友好性分别由VCL和NAL分别完成。