Paper | Enhancing HEVC Compressed Videos with a Partition-Masked Convolutional Neural Network

Enhancing HEVC Compressed Videos with a Partition-Masked Convolutional Neural Network

• Enhancing HEVC Compressed Videos with a Partition-Masked Convolutional Neural Network
  • 1. 亮点
  • 2. 网络
  • 3. Mask 及其融合
  • 4. 结论

1. 亮点

提出partition-masked Convolutin Neural Network (CNN)，用以提升 HEVC 压缩视频的质量。
其亮点在于：该网络利用编码端提供的块分割信息，在解码端进行质量增强。

而现存的质量提升方法中，大多要么只在编码端（环路滤波器），要么只在解码端（ 一般 CNN 方法）。

However, existing works only consider the appearance of input coding units
(CUs) or frames, while the partition variations in different CUs and frames are neglected.

块分割信息，实际上暗示了 visual compression artifacts 的来源。因此块分割信息可以用于质量增强。

In practice, since the partition information (e.g., 1616, 88) is introduced by the blockwise processing and quantization of HEVC, this indicates the source of visual compression artifacts.

Thus, we use the partition information to effectively guide the quality enhancement process performed by CNN.

Since the block-wise transform and quantization are performed in HEVC during encoding, the quality degradation of compressed frames is highly related to the coding unit splitting.

Thus, the partition information contains useful clues for eliminating the artifacts present during the encoding.

2. 网络

块分割信息，经过 mask generation 后，得到 mask 。
mask 和待增强的帧分别进行特征提取，再融合，最终生成“质量更高”的帧。

其 CNN 网络如图：

这个网络看图很好懂，不复杂。作者还强调了其中残差网络的深度，使其可以学到更多有意义的信息。

3. Mask 及其融合

作为本文的第二个贡献，作者首先提出并对比了两种 mask 。
第一种是 Mean-based mask ，第二种是 Boundary-based mask ，如图。

在边界 mask 中，边界宽度为2，用 1 填满；其余部分为 0 。
没有太多的说道。唯一的说法是：由于 mask 的块之间差异很大，因此可以借鉴许多有意义的信息？

其次，作者提出了 3 种融合方式：

1. 分别经过 CNN ，得到各自的 feature map 再相加，即 Add-based fusion
2. 在输入 CNN 前，作为不同的通道相加，再输入 CNN ，即 Concatenate-based fusion
3. 类似于第一种方式，但由于 mask 信息量较少，因此对 mask 只做 3 层卷积，称为 Early fusion

在20个标准测试序列上的实验结果表面，MM + AF 效果最优。

4. 结论

本文利用块分割信息进行解码端质量增强的思路值得借鉴。