【五期邹昱夫】CCF-A(NeurIPS'19)Deep leakage from gradients.
本文从公开共享的梯度中获得私有训练数据。首先随机生成一对“伪”输入和标签,然后执行正常的向前和向后操作。在从伪数据导出伪梯度后,优化伪输入和标签,以最小化伪梯度和真实梯度之间的距离。"Zhu, Ligeng, Zhijian Liu, and Song Han. "Deep leakage from gradients." Advances in neural information processing systems 32 (2019)."
本文的优点在于证明了从公开共享的梯度中获得私有训练数据是可能的。只需要梯度,可以显示像素级的精确图像和令牌级的匹配文本。
本文的缺点在于要求真实梯度没有经过L2范数计算。其次只在单一图像上进行了实验,图像大小和批量都设定的很小。
2023年4月18日