Paper | Making a "Completely Blind" Image Quality Analyzer
Making a "Completely Blind" Image Quality Analyzer
质量评估大佬AC Bovik的作品,1200+引用。
目标问题:提出一些普适的、与主观质量接近的客观评估指标。普适意味着:无失真先验。
背景:现有的普适NR-IQA方法需要训练集(图像包含预期的失真,且需要人类评分数据)。这种方法泛化能力差,且要求高。
解决思路:从自然图像中获取一些统计数据(natural scene statistic, NSS),用来刻画图像质量。即不再需要人类评分数据用于训练。基于此的方法称为Natural Image Quality Evaluator (NIQE)。
效果:与SOTA的、基于训练的NR-IQA方法平起平坐。
意义:这种方法才是真正的blind。因为如果我们有合适的数据集,就说明我们对失真有了一定的预判,使得训练集和测试集的失真模式是一致的。虽然测试阶段是盲的,但训练显然非盲。
1. 技术细节
作者称之为no reference opinion-unaware distortion-unaware IQA model。一句话概括:将一系列quality-aware的特征,用一个多元高斯(multivariate Gaussian MVG)模型进行建模。那么,有损图像的质量就是其MVG 以及 自然图像的MVG 的距离。
1.1 NSS特征
第一步,图像归一化:减去局部均值,除以标准差+1:
这一步即计算了本文选择的NSS!根据参考文献[10]【这个文献很重要】,无损自然图像的式(1)遵循高斯分布。如果是非自然图像(如计算机渲染图像)或受损图像,那么分布就不像高斯分布。
注意:该指标在BRISQUE[3]中已经被用过。但BRISQUE方法没有NIQE好?
1.2 选择锐利块来计算NSS
第二步,我们选择块,来计算以上的NSS。注意,我们只考虑那些显著性高的区域,一般是锐利的区域[12]。前面我们计算了每个像素点邻域的标准差,因此我们可以据此估算该区域的锐利程度:
如图即选出的区域示例:
然后,我们简单设一个阈值,该阈值为整个图像峰值锐利度的75%。超过阈值即锐利块,被选出计算NSS。
1.3 一张图像得到36个特征
第三步,我们用零均值的广义高斯分布(generalized Gaussian distribution, GGD)来建模自然图像的NSS:
和[3]一样,本文通过相邻像素NSS的相乘,来检测该NSS指标的异常。
建模时,我们考虑4个方向、2种块的尺度。每一个GGD模型有4个参数,一共能产生36个特征。产生方法要看[3]。
1.4 用MVG建模这36个特征
第四步,我们用MVG建模自然图像的这36个特征。
1.5 NIQE指标
最后,我们计算目标MVG和自然MVG的距离,即NIQE得分:
2. 实验
我们只看一个实验:我们需要多少自然图像进行训练,模型才会收敛?
可见,当超过100张图像时,模型的稳定性就很好了。