【五期邹昱夫】 CCF-A(SP'22)Property Inference from Poisoning.

Mahloujifar, Saeed, Esha Ghosh, and Melissa Chase. "Property Inference from Poisoning." 2022 IEEE Symposium on Security and Privacy (SP). IEEE Computer Society, 2022.

  针对机器学习算法的属性推理攻击分为黑盒攻击和白盒攻击，目前只有白盒属性推理攻击的相关研究。本文研究了属性推理攻击的黑盒攻击。因为普通属性推理黑盒攻击准确率比不上白盒攻击，所以文章作者对属性推理黑盒攻击的攻击者的威胁模型进行了重新分析。最后分析得出攻击者在进行属性推理黑盒攻击的同时具备进行数据投毒攻击的能力。文章作者将数据投毒和属性推理黑盒攻击进行结合，针对贝叶斯最优分类器进行攻击。攻击模型如下：首先，选择投毒点。针对那些在分布中很少见的属性进行投毒。这会使中毒分布与实际分布发生更大的变化。其次，选择查询点。因为学习算法几乎是贝叶斯最优的，所以应该适应分布变化。因此投毒会改变贝叶斯最优生成的分类器模型。对于某些点，模型预测的变化明显不同。文章将这些点作为查询点。然后，使用阴影模型方法训练一个推理模型。对多个数据集采样，用前面的投毒集对所有数据集进行投毒，并训练出多个模型。用前面的查询点集对每个训练出的模型进行查询，并生成一个训练集用于训练推理模型。最后，将目标模型通过查询点获得数据投入推理模型，推理模型给出最终的预测。
  本文的优点有三个，一是文章作者在属性推理攻击的黑盒攻击效果不如白盒攻击时，通过重新分析威胁模型，发现了攻击者具备同时进行属性推理黑盒攻击和投毒攻击的条件。二是将两种攻击进行了结合。另辟蹊径的将投毒攻击目标定为属性泄露，成功使属性推理黑盒攻击成功率提高。三是文章作者首先用理论证明了该攻击适用于任何训练算法输出 (几乎) 贝叶斯最优分类器。文章后续攻击模型的设计，除了查询点选择模块，完全按照其证明的理论进行，说服力强。
  本文的缺点在于，文章作者的查询点的选择部分未能证明其相关理论。在设计查询点部分的实验时未遵从其理论依据进行查询点的选择，而是使用了其他方法。

2022年11月10日