【人脸伪造检测后门攻击】Imperceptible Face Forgery Attack via Adversarial Semantic Mask

原文Github地址:https://github.com/clawerO-O/ASMA

一、研究动机

​ 目前的后门攻击模型是基于数字像素上的操作,例如增加噪声,从而使得深度模型在推理阶段表现为不正常,但这种attack隐蔽性很差,可以被人眼所观察到。因为这些模型是在整个面部区域增加对抗性扰动,增加了许多冗余扰动。为此,作者提出adversarial semantic mask attack algorithm 来提高生成的对抗数据的质量以及隐蔽性。

[!TIP]

该算法的关键点在于限制增加扰动的范围,通过class activation mapping,face semantic parsing module 定位关键的语义区域

二、adversarial semantic mask attack algorithm

image

2.1 Adversarial Semantic Mask Attack Generation

[!NOTE]

类激活函数:将模型注意力与输入图像联系起来

模块的关键:干扰类激活函数的特征会影响到模型输出,得到对抗样本的假注意力后,对人脸的各个区域进行分割,通过计算不同区域的像素平均值作为伪造相关得分并进行排序,选择语义掩码区域加入对抗性噪声,以达到原图和对抗样本的距离最大化

  • 实现

​ 首先将对抗样本初始化为原图像,在预训练好的伪造检测模型中分别提取两者的类激活特征ΦxΦx,利用两者的特征距离计算梯度更新对抗样本的特征

image

​ 在对抗样本的更新过程中,还受到了扰动的制约

image

2.2 Adaptive Semantic Mask Selection

[!TIP]

由于需要选择语义掩码区域加入噪声,该文献利用了类激活函数自适应的选择语义掩码区域,采用语义分割算法对人的脸部进行语义分割,包括左眼、右眼、左眉、右眉、鼻子、上唇、下唇、嘴内、脸、头发或背景,在获得掩码后,与上一节中得到的类激活函数特征进行相加,得到最终的区域类激活特征,并在最后加入原图中得到对抗性样本。

三、数据与模型

  • 人脸数据集

DFDC:包括了使用DeepFakesface2face和一些其他的人脸生成和表情编辑算法。 特点:分辨率高,最高 3840× 2160。选取1000张假图生成对抗攻击样本

  • 人脸检测模型:MobileNet_SSD, 并将检测到的人脸设置为320 × 320。
  • 训练和攻击模型:XceptionNet, ResNet50, EfficientNet-B0, and EfficientNet-B4,检测模型训练50轮,采用Adam优化器。
  • 对比的攻击算法:FGSM [7], BIM [15], PGD [16], C&W [17], DeepFool[18], TRM [19]

四、实验

  • 白盒和黑盒模型攻击对比

image

  • 生成图像质量对比

image

image

  • 类激活函数的可视化分析结果

image

参考论文

  • 目前主要的攻击方式:
  1. 基于补丁的方式:通过替换人脸的方式实现
  2. 转移化妆特征实现对抗性攻击;[9] [10]
  3. 最小话真实图像和攻击图像的统计差异;[12]
  • 可视化技术:

Class Activation Mapping

本文作者:DLShark

本文链接:https://www.cnblogs.com/DLShark/p/18523217

版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   九年义务漏网鲨鱼  阅读(39)  评论(0编辑  收藏  举报
点击右上角即可分享
微信分享提示
评论
收藏
关注
推荐
深色
回顶
收起
  1. 1 404 not found REOL
404 not found - REOL
00:00 / 00:00
An audio error has occurred.

作曲 : Reol

作词 : Reol

fade away...do over again...

fade away...do over again...

歌い始めの一文字目 いつも迷ってる

歌い始めの一文字目 いつも迷ってる

どうせとりとめのないことだけど

伝わらなきゃもっと意味がない

どうしたってこんなに複雑なのに

どうしたってこんなに複雑なのに

噛み砕いてやらなきゃ伝わらない

ほら結局歌詞なんかどうだっていい

僕の音楽なんかこの世になくたっていいんだよ

Everybody don't know why.

Everybody don't know why.

Everybody don't know much.

僕は気にしない 君は気付かない

何処にももういないいない

Everybody don't know why.

Everybody don't know why.

Everybody don't know much.

忘れていく 忘れられていく

We don't know,We don't know.

目の前 広がる現実世界がまた歪んだ

目の前 広がる現実世界がまた歪んだ

何度リセットしても

僕は僕以外の誰かには生まれ変われない

「そんなの知ってるよ」

気になるあの子の噂話も

シニカル標的は次の速報

麻痺しちゃってるこっからエスケープ

麻痺しちゃってるこっからエスケープ

遠く遠くまで行けるよ

安定なんてない 不安定な世界

安定なんてない 不安定な世界

安定なんてない きっと明日には忘れるよ

fade away...do over again...

fade away...do over again...

そうだ世界はどこかがいつも嘘くさい

そうだ世界はどこかがいつも嘘くさい

綺麗事だけじゃ大事な人たちすら守れない

くだらない 僕らみんなどこか狂ってるみたい

本当のことなんか全部神様も知らない

Everybody don't know why.

Everybody don't know why.

Everybody don't know much.

僕は気にしない 君は気付かない

何処にももういないいない

Everybody don't know why.

Everybody don't know why.

Everybody don't know much.

忘れていく 忘れられていく

We don't know,We don't know.