【三期胡宇】CCF-A(S&P'19) Comprehensive Privacy Analysis of Deep Learning :Passive and Active White-box Inference Attacks against Centralized and Federated Learning

Nasr M, Shokri R, Houmansadr A. Comprehensive privacy analysis of deep learning: Passive and active white-box inference attacks against centralized and federated learning. In: Proc. of the Security & Privacy. 2019.

  针对机器学习算法的推理攻击可分为两种：追踪攻击（成员推理攻击）、重构攻击。作者通过训练好的模型的参数以及训练过程中模型的参数更新来测量隐私泄露。利用随机梯度下降算法的隐私漏洞，作者设计并评估了针对神经网络模型的白盒成员推理攻击。之前的很多工作集中在黑盒攻击的模式下，在黑盒攻击中对于输入x ，攻击者只能看到模型的输出 f(x;w)。但是对于模型的中间结果，例如神经网络中各层的计算结果，攻击者是无法得到的；而在白盒攻击的模式下，这些中间结果对于攻击者来说是可得的。除此之外，模型的参数和结构对于攻击者来说也是可见的。针对被动推理攻击者和主动推理攻击者，以及假定攻击者具有不同的先验知识，本文设计了集中学习和联邦学习的推理算法。作者证明了将已知的黑盒攻击直接扩展到白盒(通过分析激活函数的输出)是无效的。通过分析CIFAR数据集的预先训练和公开可用的先进模型，表明即使是泛化能力很好的模型也容易受到白盒成员推理攻击。
  在一个神经网络中，不同的层包含的信息是不一样的。越靠近输出的层包含的信息越具体，其泄露的信息也越多；越远离输出的层泛化能力则越好，从而泄露有关训练数据集的信息则越少。为什么梯度会对效果有如此大的提升呢？这是因为一个神经网络本身的参数是非常多的，这样的话梯度向量的维数也是很大的。维数如此巨大的向量在一个比它小很多的数据集上可获得很好的泛化。越靠近输出层的梯度泄露的信息越多。除了梯度本身之外，梯度的范数对于训练的效果也有很大的影响。实验表明，成员和非成员在训练过程之中产生的范数的分布是有很大的区别的。而成员-非成员范数差异越大，攻击达到的效果也会越好。和直观感受一样，训练集越大得到的攻击效果越好。

2020年11月28日