图像质量评估-Re-IQA

《Re-IQA: Unsupervised Learning for Image Quality Assessment in the Wild》

用于野外图像质量评估的无监督学习”的文件解决了自动感知图像质量评估这一具有挑战性的问题，该问题每天影响着数十亿互联网和社交媒体用户。作者提出了一种混合专家方法，在无监督环境中训练两个独立的编码器，学习高级内容和低级图像质量特征。主要贡献包括开发无监督低级图像质量表示学习框架，演示高级表示在IQA任务中的优越性，以及提出一种新颖的图像增强和对内图像交换方案。该研究旨在解决传统NR-IQA模型的局限性，并提高真实场景中图像质量预测的准确性。该文件的要点和关键论点是：

• 自动感知图像质量评估是一项至关重要的任务，每天影响着数十亿互联网和社交媒体用户。
• 建议采用一种混合专家方法，在无监督环境中训练两个独立的编码器，以实现高级内容和低级图像质量特征。
• 引入用于野外图像质量评估的 Re-IQA 框架，利用互补的低级和高级图像表示。
• 在具有真实和合成失真的大规模图像质量评估数据库上实现最先进的性能。
• 展示高级表示对 IQA 任务的重要性以及无监督学习在生成感知相关图像表示方面的有效性。
• 提出了一种新型图像增强和对内图像交换方案，以实现低级图像质量表示的学习。
• 与现有的传统、CNN 和基于 Transformer 的 NR-IQA 模型进行比较，展示出具有竞争力的性能。
• 强调在真实场景中准确预测图像质量感知的挑战以及改进 IQA 算法的需求。
  

通过对数据进行了各类变换从而实现图片不同质量等级数据库的扩充和增广：

数据处理方法包括了：

1. Resize Bicubic: Downsize the image and upsize it back to the original size using bicubic interpolation.
2. Resize Bilinear: Downsize the image and upsize it back to the original size using bilinear interpolation.
3. Resize Lanczos: Downsize the image and upsize it back to the original size using Lanczos filter-based interpolation.
4. Pixelate: Downsize the image and upsize it back to the original size using nearest-neighbor interpolation.
5. Motion Blur: Emulates motion blur by filtering using a line kernel.
6. Gaussian Blur: Filters the image with a Gaussian kernel.
7. Lens Blur: Filters the image with a circular kernel.
8. Mean Shift: Shifts the mean intensity of the image by adding a constant value to all pixel values and truncating to the
9. original value range.
10. Contrast: Changes the contrast of the image by applying a non-linear Sigmoid-type adjustment curve on the RGB values.
11. Unsharp Masking: Increases the sharpness of an image by using unsharp masking.
12. Jitter: Randomly scatters image data by warping each pixel with small random offsets.
13. Color Block: Inserts homogenous randomly colored blocks at random locations in the image.
14. Non-eccentricity: Randomly offsets small patches in the image by small displacements.
15. JPEG Compression: Applies standard JPEG compression.
16. White Noise (RGB space): Adds Gaussian White noise in the RGB space.
17. White Noise (YCbCr space): Adds Gaussian white noise in the YCbCr space.
18. Impulse Noise: Adds salt and pepper noise in the RGB space.
19. Multiplicative Noise: Adds speckle noise in the RGB space.
20. Denoise: Adds Gaussian white noise to the RGB image and then applies a randomly chosen blur filter (Gaussian or box blur) to remove noise.
21. Brighten: Increases the brightness of the image by applying a non-linear curve fitting to avoid changing extreme values.
22. Darken: Similar to Brighten, but decreases pixel values.
23. Color Diffuse: Applies Gaussian blur on the color channels (a and b) in the LAB-color space.
24. Color Shift: Randomly translates the green channel and blends it into the original image masked by a gray level map which is the normalized gradient magnitude of the original image.
25. Color Saturate: Multiplies the saturation channel in the HSV-color space by a factor.
26. Saturate: Multiplies the color channels in the LAB-color space by a factor.

文章使用了Res-Net残差网络的Block块部分对数据进行训练，backbone 为 Res-Net.

实验结果待补充。。。。。。。。。。