ParamISP：使用相机参数学习正向和反向ISP

ParamISP：使用相机参数学习正向和反向ISP

RAW图像很少被共享，主要是因为与相机ISP获得的sRGB图像相比，RAW图像的数据量过大。最近已经证明，学习相机ISP的正向和反向过程，可以对输入的sRGB图像进行具有物理意义的RAW级图像处理。然而，现有的基于学习的ISP方法，无法处理ISP过程中，关于ISO和曝光时间等相机参数的巨大变化，并且在用于各种应用时存在局限性。提出了一种基于学习的方法ParamISP，用于sRGB和RAW图像之间的正向和反向转换，该方法采用了一种新的神经网络模块来利用相机参数，称为ParamNet。给定EXIF数据中提供的相机参数，ParamNet将其转换为特征向量以控制ISP网络。大量实验表明，与以前的方法相比，ParamISP可以获得更优的RAW和sRGB重建结果，并且可以有效地用于各种应用，如去模糊数据集合成、原始去模糊、HDR重建和相机到相机传输。

新方法ParamISP框架概述如图3-8所示。

 

图3-8 新方法ParamISP框架概述

图3-8中，整个管道是通过将可学习网络（ParamNet、LocalNet、GlobalNet）与可逆规范相机操作（CanoNet）相结合而构建的。CanoNet由没有可学习权重的可微操作组成，其中WB和CST分别表示白平衡和颜色空间变换。

ParamNet的体系结构如图3-19所示。

 

图3-9 ParamNet的体系结构

在图3-9中，（a）给定相机光学参数，ParamNet估计用于调制LocalNet和GlobalNet的光学参数特征。（b）为了处理不同尺度和非线性分布的光学参数值，建议使用多种非线性映射函数的非线性均衡。

LocalNet和GlobalNet的详细架构如图3-10所示。

 

图3-10 LocalNet和GlobalNet的详细架构

在图3-10中，在GlobalNet中，

 

和

 

分别表示伽马校正和二次变换，而

 

表示第

 

个系数

 

和

。