paper | A Convolutional Neural Network-Based Approach to Rate Control in HEVC Intra Coding(2017)
Abstract
速率控制方案通常建立表征速率(R)与编码参数(例如量化参数或拉格朗日乘数λ)之间的关系的模型。在这样的方案中,速率控制性能在很大程度上取决于建模精度。对于帧间,可以基于先前编码的帧的信息来精确更新模型参数以适合视频内容。但是,对于帧内帧,尤其是视频序列的第一个帧,没有先验信息可依赖。因此,帧内速率控制仍然是一个挑战。
-
在本文中,我们采用R-λ模型来表征帧内每个编码树单元(CTU),并提出一种基于卷积神经网络(CNN)的方法来有效预测每个CTU的模型参数。
-
然后基于R-λ模型,针对HEVC帧内编码开发了一种新的CTU级比特分配和比特率控制算法。
-
实验结果表明,我们提出的基于CNN的方法优于HEVC参考软件中当前使用的速率控制算法,从而速率控制误差平均降低了0.46%,BD速率降低了0.7%。
Motivation
用深度学习的方法来优化帧内每个CTUR-λ模型的参数α和β。
Details
网络结构
![](https://img2018.cnblogs.com/blog/1880127/202001/1880127-20200110105829781-590651604.png)
分别对α和β进行预测。
label
-
将自然图像转换为YUV420格式,然后使用HEVC参考软件在11种不同的量化参数(QP)下进行压缩,范围从20到40,间隔为2。针对每个CTU收集不同QP的码率和Lagrange乘数λ。
-
然后使用11对(R,λ)对每个CTU进行曲线拟合以获得α和β。 然后删除异常CTU,将异常数据定义为α∈[0.05,200]和β∈[-3,0]。
-
最后,我们将每个CTU的亮度分量的原始像素值用作CNN的输入,并使用相应的α或β作为训练CNN的标签。 有18万个CTU用于训练,另外16,000个CTU用于验证。