D-Unet: A Dual-encoder U-Net for Image Splicing Forgery Detection and Localization

题目：D-Unet: A Dual-encoder U-Net for Image Splicing
Forgery Detection and Localization

出处：arxiv 2020.12.3

作者：

Department of Computer Science and Technology,

Chongqing University of Posts and Telecommunications

摘要：存在问题1. 多数检测方法关注于local patches或者local objects。实际上拼接检测是一个全局二分类任务。2. 一些特定的图像内容在基于CNN的方法中很难保留。

解决问题：本文提出一个双编码器U-net（D-unet），包括一个unfixed encoder自动学习image fingerprints，一个fixed encoder提供方向信息。双编码器之后是一个spatial pyramid global-feature extraction module，扩展全局视野。本文方法使用少量训练样本。

网络结构

unfixed encoder

作者通过实验选择网络深度和下采样方式（最大池化maxpooling、步长为2的卷积下采样）

casia用750张训练，100张测试

columbia使用135张训练，45张测试

用了评价指标和可视化来解释实验

unet-N-C/M 里的N是操作数量，M是最大池化，C是步长为2的卷积

实验证明使用 unet-4-C （使用4个步长为2的卷积下采样操作）效果最好

fixed encoder

设计了SRM编码器和DWT编码器（哈尔小波变换），两个编码器的特征融合方式有SF简单融合，HF分级融合。

SF是把最后输出拼接，HF是在每一层对应拼接

作者用实验选择结构，包括可视化和评价指标。

根据实验结果，选择DWT编码器，使用分层融合方式。

空间金字塔全局特征提取模块

使用3，5，7的卷积，从全局视角提取特征。

Unet-4-C是使用4个步长为2的卷积

Unet-4-C-S是使用SPGFE

Unet-4-C-HF-FE是DWT编码器加unet4c加HF融合方式

Unet-4-C-HF-FE-S是本文结构

用实验证明结构有效，使用可视化、评价指标

对比试验

自己设置数据集划分

casia挑选拼接图像715，35，100分别做训练，验证，测试

columbia划分125，10，45做训练，验证，测试

nist挑出184，12，50做训练，验证，测试

下图是自己从三个数据集共选了195张做测试

鲁棒性实验

做了对比方法在噪声 ，jpeg压缩，缩放的实验

结论

提出了端到端的结构。D-Unet有global insight。不需大量的训练数据或预处理过程。表现达到SOTA，鲁棒性好