Focus Manipulation Detection via Photometric Histogram Analysis

Abstract

    典型的图像取证方法是利用低级的线索，例如元数据，传感器噪声指纹，这就迫切的需要高层次的物理和语义线索。

    创新点:在图像亮度和其它线索上，人为模糊的图片会光度关系关系上产生矛盾。

    Portrait-Mode：Iphone手机的肖像模式，会自动模糊除主体外的周围环境。（可以用于生成模糊操作[blur manipulations]的图片，iPhone是要是通过智能算法来实现模糊效果）

    实验结果:实现新的模糊操作数据集上实现了98%的准确率，在代表野外的环境图像下，也是实现很好表现。

疑问:

  • blur is geometrically correct[模糊是几何正确的] and consistent with the scene’s
    physical arrangement[场景的物理布置一致]
  • in the wild condition[野外的条件下]

1.Introduction

    人为的模糊[Artificial blur]可以模糊图像的一些细节信息，运动和光学模糊[motion and optical blur]是正常出现的现象。模糊是高质量图像的理想特征。

    Shallow depth of field [DoF]：景深，使图像的非主体部分变得模糊。照片中，清晰的部分越多，表示景深越深，清晰的部分越少，表示景深越浅。

    景深的作用：主要是提高图像的真实性和被聚焦物体的显著性。

    采用智能手机生成的景深图，在几何上是正确的，但是这与真正的景深图来说，两者仍能检测到差异。这是因为采用只能手机生成的景深图，是通过局部模糊的方法，模糊内核兼有去噪的滤波，这样就会导致两者光度不一致。

    通过上面的分析：光度、JPEG双重量化和去马赛克线索去检测焦点操作[focus manipulations]。

    本论文的目的:区分自然浅景深的图像与人为局部模糊实现景深的图像。[自然浅景图指的是运动和光学模糊造成的正常模糊现象]

    本论文研究方法：通过将两个感受野较小的深度卷积网络的融合下对许多线索进行直方图分类。

    数据集:

  • dataset of Portrait Mode-type imagery[肖像模式类型图像的数据集]
  • NIST NC2017 dataset

疑问：

  • focus manipulations：焦点操作。

2.Related Work

    本论文的主要贡献:

3. Primary Cue: Image Noise

    自然浅景的图像和人为局部模糊的区别可以在图像噪声中寻找到。

    图像1显示了数字相机处理过程中，各种噪声的来源。

Q7mYJs.md.png

    当是自然的光学模糊时候，在光子到达传感器之前，只有很小的与信号相关的噪声影响被观察到。然而当用算法对已经存在的数字图像进行模糊的时候，平滑或滤波操作也会隐式地消除图像中的噪声。去噪的数量与局部平滑或模糊的数量成正比，而且我们对空间上的非均匀模糊操作更加关注，因此可以通过局部光度强度和噪声水平之间的不一致性来检测算法局部模糊的数量差异。具有近似相同强度的图像的两个区域也应该具有近似相同的噪声水平。如果一个区域比另一个区域模糊，或者一个区域模糊而另一个区域不模糊，那么在强度和局部噪声水平之间就会产生不一致。

    对于噪声分析，扩展了[29,19]的噪声模型：

  • Enum:一个像素产生的电子数与被成像物体的平均辐照程度成正比。

  • Ns:散粒噪声，是光的量子本质的结果。它捕获了一个在收集点存储的电子数量的不确定性。可以认为近似服从泊松分布。

  • K：固定模式（图像噪声），影响电子数的乘法因子，K的特征是在所有收集点上均值为1，较小的方差\(δ_k^2\)

  • Ndc:附加因子，硅中的热能产生自由电子，为图像提供暗电流，可以认为服从高斯分布。

  • A:可测电压，片上输出放大器将每个位置采集的电荷按照顺序换成A刻度的可测电压，放大器产生的平均读出的噪声为0，方差为\(δ_k^2\)

  • 去马赛克被应用到彩色相机中，在每个像素处插入三种颜色中的两种，并引入一个有时候被建模为错误的噪声。之后，相机相应函数CRF\(f(·)\)通过一个非线性变换来映射这个电压，以提高感知图像的质量。最后，模拟-数字转换器(ADC)将模拟电压近似量化步骤q的整数倍。

  • Nq：量化噪声可以建模为添加一个噪声源。

    通过上面的噪声，二维图像可以描述为：

Q7K2Ss.png

    噪声的方差为：

Q7KITU.png

    得出了一个重要结论：图像不同强度区域的不同噪声水平本身并不能作为操作的指标。

    我们利用三种不同的局部噪声近似，在近似均匀的图像区域上测量:强度方差、强度梯度大小和[20]的噪声特征(缩写为NOI)。此步骤将图像中的细微统计关系转换为2D直方图中的形状特征，可以通过神经网络对其进行分类。实验表明直方图特征的检测明显优于直接图像像素的检测方法。

疑问：

  • 上面说的基本都不懂，方差是怎么来的？上面的信息怎么转换成2D直方图。

4. Additional Photo Forensic Cues（附加照片取证线索）

    压缩和后处理会覆盖掉一些取证的线索。噪声特征对压缩是非常敏感的，例如对图像的模糊、平滑。

    为了提高检测效果，Some manipulation methods operate on a JPEG image, i.e. after all steps of the pipeline; others operate on raw images, and apply steps like the CRF after the manipulation. Some require user intervention to determine the amount of local blurring; others, including portrait modes, use hardware to measure depth, and obviate the need for user intervention。

疑问：

  • 上面的英文啥意思，想表达什么？表达剩余的两条线索？

4.1. Demosaicing Artifacts

    去马赛克[demosaicing]：目的是从覆有滤色阵列（Color filter array，简称CFA）的感光元件所输出的不完全色彩取样中，重建出全彩影像。

    去马赛克算法的目标是从CFA色彩通道（Color channels）输出的不完全取样中重建出全彩影像，即重建出各像素完整的RGB三原色组合。

    研究人发现去马赛克算法和传感器上滤色阵列是可以被检测的。由于焦点操作[focus manipulations]应用到去马赛克的图像上，局部平滑操作将细微的改变这些去马赛克图片的滤色器阵列（CFA），

疑问：上面这句话具体是啥意思？，下面的也看不懂

    去马赛克的方法采用双线性插值的方法，将一个图像分成W×W的子块，仅计算在非平滑块像素中的去马赛克特征，每一个非平滑块记为 \(B_i\), \(i\)为1到\(m_B\),其中为图像中非平滑图像的块数。使用不同四种不同的拜尔矩阵，并且假设四种模式中的每一种都可以评估图像像素值和重新插值强度之间的误差。重新插值误差第K个拜尔矩阵\(θ_K\)的第i个子块定义为：\(ˆB_ik=f_d(B_i,θ_K)\),k为1到4。

    因此，我们定义度量以估计归一化绿色通道列向量的均匀性，如下

Q78ZFK.png

4.2. JPEG Artifact

    完全没看懂

5. Focus Manipulation Detection

    采用5中特征来进行refocusing detection，分别为color variance (VAR), image gradient (GRAD),double quantization (ADQ) [11], color filter artifacts (CFA)[13] and noise inconsistencies (NOI)。

    剩下的看不懂。

5.1. Overall Approach

Q7JPV1.png

    图四显示了我们伪造检测的流程图，和并之前将的5种特征。

    为了捕获各个特征与基础图像强度之间的关系，我们采用intensity v.s. feature bivariate histogram – which we call the focus manipulation inconsistency histogram (FMIH)。我们使用上述的五个特征用于散焦伪造图像检测，每一个通过一个FMIHNet进行分析，这5个分类结果通过多数表决方案合并，以确定最终分类标签。

Q7YD0A.png

    图4的第一行展示了该图片的5个特征。我们提取每个图片的5个特征，我们划分输入的图像为超像素，对于每个超像素特征的均值和平均亮度。

5.2. Network Architectures

Q7tgER.png

    FMHI大多数为9（直方图大多数为空），因为我们只有两个输出分类，太多的全连接层似乎能降低准确率。如图7所示，准确率随卷积层数的变换。Tnet1有11卷积层和3最大池化层。Tnet2有20卷积层和4最大池化层。Tnet1有14卷积层和6最大池化层。

Q7NoWV.png

6. Experiments

6.1. Datasets

    FMD和NIST NC2017

FMD

  • 训练集数量：1320

  • 测试集数量：840

NC2017

总共1000，500真500假

6.2. Experiments with FMD

    表1展示了在FMD数据集下，不同神经网络在使用不同特征的时候准确率比较。

    表2展示了在FMD数据集下，不同神经网络在不同特征的准确率比较。

    图8（a）以ROC曲线的形式展现了FMIH特征比其他的好。

6.3. Experiments with NC2017

    表3展示了在NC2017数据集下，不同神经网络在使用不同特征的时候准确率比较。

    表4展示了在NC2017数据集下，FMIHNet在不同的数据集（或者数据集合并）下在不同特征下准确率比较。

7. Conclusion

    我们提出了一个方法检测焦点的操作。我们的方法利用光度直方图功能，特别强调噪声，其形状会因操作过程而改变。我们采用了深度学习方法，将这些2D直方图分别分类，然后投票得到最终结果。最终达到98的准确率。

posted @ 2020-01-20 22:06  wenshinlee  阅读(564)  评论(0)  编辑  收藏  举报