DepFake相关

DepFake相关

Deepfake概述

Deepfake概述

• 2017年，一位昵称为“Deepfakes”的用户在知名论坛Reddit上发布了一张“盖尔·加朵”的合成图片。
• DeepFake=Deep+Fake，Deep Learning techniques + traditional face forgery techniques.

面临的机遇和挑战

机遇

• 开源程度很高：代码Demo唾手可得；
• 容易制作：自己动手，丰衣足食，人人都是Deepfaker；
• 应用广泛：电影，娱乐，游戏；
• 发展潜力巨大：无限的应用场景和潜力。

挑战

• 开源程度很高：代码Demo睡手可得，知识产权和隐私保护差；
• 容易制作：自己动手，胡作非为，坏人都是Deepfaker；
• 应用广泛：电影，娱乐，游戏；
• 发展潜力巨大：无限的应用场景和潜（钱）力。

可行的解决方案

Deepfake检测的本质就是判断视频/图片真还是假，即一个二分类问题。

基于手工的特征

• 眨眼检测
• 深度信息
• 视觉伪影
• 残差信息

基于学习的特征

• 图像空域
• 视频时域
• 图像频域
• 伪造取证

Sota解决方案

• Oian et al."Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues "
• Rossler et al,"FaceForensics: A Large-scale Video Dataset for Forgery Detection in Human Faces"
• Masi et al,"Two-branch Recurrent Network for Isolating Deepfakes in Videos"
• Li et al,"Face X-ray for More General Face Forgery Detection"
• Qiet al,"DeepRhythm: Exposing DeepFakes with Attentional Visual Heartbeat Rhythms"
• Honggu Liu al,“Spatial-Phase Shallow Learning:Rethinking Face Forgery Detection in Frequency Domain”

不足

• Problem 1：可迁移性差，缺乏解决源-目标失配问题的能力。
• Problem 2：鲁棒性差，缺乏真实复杂场景下的检测能力。

总结与展望

总结

• Deepfake 检测仍然是一个未被解决的问题；

• 无论是生成还是检测，目前都缺乏统一有效的评价度量机制；
  较差的可解释性。

展望

• 根据不同的场景去重新定义检测问题；
• Deepfake生成方法的发展以提供更加高质量的数据集；
• 传统数字取证在Deepfake检测的应用；
• Deepfake相关管控制度的规范化，合法使用Deepfake，保护隐私和知识产权。