Paper | Predicting the Quality of Images Compressed After Distortion in Two Steps
Predicting the Quality of Images Compressed After Distortion in Two Steps
图像质量评估大佬AC Bovik的论文,发表在2019 TIP上。
考虑的问题:对于有参考图像质量评估(R-IQA)任务,参考图像有时是有损的。这会导致评估的客观质量不合理。
解决思路:简单直接:先用NR-IQA方法评估R的质量,再用R-IQA方法评估相对R的质量,最后结合二者。
作者用的组合方式是简单的相乘。但是作者声称,这样做的性能很好,比其他复杂的组合方式更好?
那么为什么不直接用NR呢?作者解释道,NR方法大多都不理想,至今仍无可商用的NR方法?
[37]也注意到了这个问题,其解决方案是改造SSIM和VIF。
这篇文章还提供了一个新的数据库,其参考图像是混合失真的。并且该数据库有主观评分。
个人观点:该工作本质上是在NR(no-reference)和FR(full-reference)之间找了一个平衡点,相当于RR(reduce-reference),即:我虽然有参考图像R,但我不直接用它,而是基于R,通过NR得到一些信息,再做FR。
1. 问题本质剖析
R-IQA方法本质上提供的是perceptual fidelity measure,即相对参考图像的图像质量。因此,如果参考图像的质量层次不齐,那么R-IQA得分无法反映图像的绝对质量。
2. 方法细节
对于R-IQA方法,作者选择的是MS-SSIM。首先其性能好,形式简单,其次其值在0和1之间,质量越高越趋近于1。得分为\(\mathcal{Q}_{\text{R}}\)。
对于NR-IQA方法,作者采用的是NIQE。得分为\(\mathcal{Q}_{\text{NR}} = 1 - \frac{\text{NIQE}}{\alpha}\)。NIQE得分在0和100之间,并且图像质量越差得分越高。因此作者简单设\(\alpha = 100\)。
最后,两个得分相乘。
注意,以上\(\mathcal{Q}_{\text{R}}\)和\(\mathcal{Q}_{\text{NR}}\)都被归一化了。这样的好处是:当其中一者完美时,其得分为1,总得分就是另一者的得分。这样才合乎逻辑。
当NR和R方法换成别的方法时,作者建议将其得分函数映射到一个对数型的函数上【实际上是sigmoid函数,在0和1之间】:
其中的4个\(\beta\)参数是可调的建模参数。
最后的最后,我们可以让NR和R得分有不同的权重。方法也很简单:
这样才不会影响满分为1。
以上,作者提出了一种名为2stepQA的方法。由于组分MS-SSIM和NIQE都不需要训练,因此整体方法是无需训练的。