学习-生成式大模型隐私保护技术

转载：【极简综述第二期08】生成式大模型隐私保护技术

作者： 中山大学的操晓春教授和中科院信工所的李京知副教授

引言

生成式大模型的出现催生了各个领域的技术创新和应用变革，对大众的生活、工作和互动方式产生了深远的影响。例如，近两年备受瞩目的ChatGPT [1]和SORA [2]，ChatGPT在人机交互、对话以及生成文本等应用方面表现出色，而SORA则能够根据各种文字提示要求生成视觉逼真的图像或视频。与传统生成模型相比，生成式大模型的显著改进归因于从开源网络空间中抓取的海量数据，这些数据可能包含个人网页、社交媒体、在线论坛上的个人资料以及内部电子邮件等个人身份信息。服务商通过在这些数据集上构建生成式大模型服务，并将其提供给全球数百万用户，这对数据主体的数据权利构成了新的严重威胁。

image

生成式大模型主要采用的人工智能范式，即 “预训练、微调和提示” ，如上所示。利用大规模的计算资源，在海量的多模态数据集上进行预训练，生成一个拥有数十亿参数规模的预训练模型。随后，根据不同的应用需求对模型进行微调，以得到针对特定下游任务的生成式大模型。这种范式通常具备以下特征：首先，训练数据涵盖了多种模态，包括图像、视频和文本等多样的数据形式；其次，不用重新训练模型，在已有的开源预训练模型基础上，利用私有数据集进行微调以适应特定任务；最后，提示学习的引入为生成式大模型提供了额外的信息和约束，进一步优化模型的生成性能。尽管该范式在提高模型性能和适应性方面取得了显著成果，但过度参数化的神经网络也被证明对训练数据几乎没有提供隐私保护[3]，例如训练数据复现[4]、用户输入隐私[5]以及数据再识别风险[6]等。
具体而言，训练数据中往往包含极易遭受威胁的个人敏感信息，例如人脸、地址和电子邮件等。在训练阶段，这些敏感数据会很容易被记忆在模型权重中。在模型推理阶段，生成的数据可能会复现这些被模型记忆的敏感信息，从而暴露个人隐私。例如，GPT-2可以输出个人信息，包括姓名、地址和邮箱[3]，谷歌的Imagen可以通过提示信息输出真实的人物照片，这些都对个人隐私构成了严重威胁[7]。此外，生成式大模型在训练过程中可能会学习到数据集中的细微特征，这些特征可能足以让模型在输入某些数据时推断出原始训练数据中的个人身份或敏感信息，从而导致数据再识别问题。
因此，生成式大模型的可控性与合规性成为了当前网络空间安全领域的研究热点。研究人员针对生成式大模型隐私保护的探索尚处于初期阶段，目前在人工智能生成内容隐私保护和大语言模型隐私保护方面进行了大量探索。

接下来，将从数据和模型两个角度，介绍和分析生成式大模型隐私保护技术。

数据层的生成式大模型隐私保护

通过操作数据来避免输出敏感内容的研究工作可分为两类：

第一类是数据过滤方法[8]，通过严格地管理数据来排除不需要的图像类别 [9-11]。许多人工智能生成公司也制定了类似方法来处理版权问题。例如，Midjourney在其服务条款中增加了数字版权法案要求的删除策略，即如果艺术家认为Midjourney侵犯了他们的版权，可以要求从数据集中删除其作品[12]。Stability AI也采用了类似的方法，赋予艺术家选择的权利，可以删除在未来扩散模型版本中的作品[13]。数据集过滤方法需要重新训练生成式大模型，其带来的计算资源耗费是昂贵的，同时大规模的审查制度也需要耗费较大人力。

第二类是数据扰动方法，在数据发布或使用前，数据拥有者通过添加对抗性扰动破坏模型对其中敏感信息的提取与利用。前期研究发现，深度神经网络学习的输入输出映射，在很大程度上是不连续的[14]。攻击者可以通过施加某种不可察觉的扰动使模型输出错误的结果，随后，不同于对抗性攻击，部分研究工作使用对抗性扰动来提升模型性能[15-16]。受此启发，一些研究人员探索了在生成式大模型隐私保护场景中利用对抗性扰动的可行性。

人脸作为个人核心隐私信息，有大量研究工作对其进行了探索。Yang等人[17]利用可微分图像变换进行强大的图像伪装，实现对生成模型的防御。Ruiz等人[18]提出了一种基于梯度的方法，在白盒环境中成功攻击智能生成系统，保护人脸免受生成模型的隐私侵犯。Yeh等人[19]定义了新的有效目标函数，以消除或扭曲图像操作。Huang等人[20]通过交替训练替代模型和扰动生成器来处理黑盒生成模型。Anti-Forgery [21]在Lab色彩空间中a/b通道制作扰动，旨在实现自然而健壮的伪装。最近，UnGANable [22]通过破坏其反演过程来防止基于StyleGAN的图像操作。此外，部分研究对防止人脸身份信息提取进行了研究，Fawkes [23] 应用定向攻击，将用户身份转移到嵌入空间中的其他身份上。尽管它使用替代人脸识别模型学习对抗性噪声，但这种噪声成功地转移到其他黑盒模型。Lowkey [24] 通过使用一组替代模型进一步提高了可转移性，它还考虑了扰动图像的高斯平滑版本，在优化过程中提高了对不同图像变换的鲁棒性。AMT-GAN [25] 通过化妆编辑制作了一种看起来自然的伪装，而OPOM [26] 另辟蹊径尝试优化人员特定的通用隐私掩模。

在数据版权主动保护方面，研究人员通过添加扰动（水印标识么？），使模型将版权图像与不相关图像或具有不同艺术风格的图像混淆[27-30]，从而实现有效保护。Glaze [28] 是一种使艺术家能够在在线分享之前，将“风格斗篷”应用于他们艺术作品的工具。这些斗篷对图像施加几乎不可感知的扰动，当用作训练数据时，会误导试图模仿特定艺术家的生成模型。Wang 等人[29]提出了一种基于防御扰动的即插即用隐形版权保护方法，适用于基于深度学习的应用程序。他们将版权信息投影到带有设计版权编码器的防御性扰动中，将其添加到待保护图像中，然后利用设计的版权解码器从已编码的受版权保护图像中提取版权信息，它可以准确地从社交媒体保存的编码图像中提取版权信息。（加水印和提水印）

模型层的生成式大模型隐私保护

通过操作模型来避免输出敏感内容的研究工作主要分为三类：

第一类是生成内容检测方法。这类方法通过在模型中部署内容过滤器或生成指导信息，检测生成内容是否存在训练数据或者敏感内容，然后确定是否修改输出[31-34]。例如，Stable Diffusion模型内置了安全过滤器防止生成色情图像，这些过滤器还可以调整用途，比如防止生成受版权保护的图像数据。最近，由于版权保护问题，提供商对过滤器进行了调整，禁止用户生成艺术家 Steve McCurry 的摄影作品[35] 。Stability AI提供的过滤工具[36]，支持识别生成内容中复现的图像数据。这类方法的测试和部署效率很高，但是过滤器的记录是有限的，而且在应用时有权访问参数的用户很容易绕过安全过滤器生成敏感内容[37]。

第二类是模型选择性遗忘方法。该方法针对特定的训练数据，其目的是修改模型，使其表现得如同这些特定训练数据不存在，或者“忘记”隐私的训练数据[38-39]（微调模型？使其忘记“敏感数据”？）。精准遗忘通常被认为是最优方案，它涉及在删除特定训练数据点后重新训练模型。然而，这种方法具有大量的计算需求，并且需要访问整个训练集[40]。为了解决这个问题，许多研究工作转向可扩展且有效的近似忘却方法[41-47]。Golatkar等人[41]提出了针对特定训练数据的模型权重修改方法，利用与随机梯度下降稳定性相关的思想，引入了权重中剩余信息量的上限，即使对于深度神经网络也可以有效地估计。Warnecke等人[42]提出了忘却特征和标签的方法，该方法基于影响函数的概念，通过模型参数的封闭式更新来实现遗忘。它能够回顾性地调整训练数据对学习模型的影响，从而纠正数据泄露和隐私问题。Bai等人[43]提出在训练损失中的记忆拒绝项，放弃那些接近训练数据的生成数据。

近年来， Zhang等人[44]提出了用作稳定扩散模型的轻量级模型补丁，有效地去除了包含特定身份的视觉概念，能够避免生成任何带有该身份的人脸图像。Kumari等人[45]提出了一种在预训练模型中消除概念的有效方法，可以防止目标概念的生成。该算法学习匹配图像分布，以便将我们希望消除的目标风格、实例或文本提示与对应的锚概念的分布相匹配。这可以防止模型在给定文本条件的情况下生成目标概念。Jia等人[46]提出了一种稀疏感知的忘却方法，该方法利用稀疏正则化来增强近似忘却的训练过程。Chen等人[47]将注意力从模型的参数空间转移到决策空间，提出了边界遗忘学习方法，通过改变原模型的决策边界，实现对某个类别的忘记。他们设计了边界收缩和边界扩展两种边界移动方法，可以快速实现隐私保障。SalUn [48]是一种显着性取消学习方法，逼近精准遗忘算法的性能，在图像生成任务中可以有效忘记特定的数据、类别或概念。此外，研究人员还探索了具有可证明删除保证的概率方法，通常利用差分隐私的概念[37,49]。

第三类是模型编辑方法。随着大模型训练成本的增长，研究人员更关注轻量级模型编辑方法，这类方法可以在很少或没有新训练数据的情况下改变生成式大模型的行为。在文本生成模型中，可以通过修改特定神经元[50]、网络层[51]或使用超网络[52-53]等单个要素来实现模型编辑。在图像合成模型中，可以使用少量单词[54]、部分草图[55]、扭曲手势[56]或复制粘贴[57]来编辑生成对抗网络。最近，研究表明，可以通过将标记与仅使用少量图像训练的新主题关联来编辑文本条件扩散模型 [58-60]。

重新训练模型也是一种可行的方法。Nikhil等人[61]研究了多种大语言模型，证明了重复文本序列出现的概率与该序列在训练数据中出现的次数相关，并验证了在消除重复项时，复现文本序列明显减少。OpenAI验证了使用分布式最近邻搜索在 Dall-E2上的有效性 [62]。基于差分隐私的训练方法，通过在训练过程中引入噪音，以确保生成数据相对于训练数据是差分隐私的[63]。Ma等人[64]提出了基于Renyi差分隐私的生成对抗网络，在训练阶段，通过在判别器损失函数上添加噪声，实现了差分隐私生成对抗网络。差分隐私扩散模型通过差分隐私随机梯度下降增强隐私，同时允许生成数据保留支持多个视觉任务的可用性[65]。随后，Ghalebikesabi等人[66]提出的差分隐私扩散模型具备更好的任务适应性，在更具挑战性的数据集上取得了更好的生成效果。（隐私计算技术目前最能直接应用于大模型保护的也就是DP了）

总结

当前生成式大模型隐私保护技术仍然处于早期阶段，在实际应用中要生成隐私安全的内容仍然面临着巨大的挑战。由于大模型复杂性高、预训练中使用的数据量大、隐私内容在个人数据表示层面的复杂对应方式，使得隐私保护结果并不能与不同隐私信息之间产生严格的映射关系。探索如何在保护个人隐私的同时充分利用生成式大模型的能力，仍然是一个具有挑战性的问题。（隐私保护就是在效率与安全质检做平衡，现在用于大模型，效率问题更是个大问题了）

参考文献

  1. ChatGPT. https://chat.openai.com/, 2022. Accessed: 2024-03-18
  2. OpenAI. Sora: OpenAI’s Language Model. https://openai.com/sora/?ref=aihub.cn, 2024. Accessed: 2024-03-18
  3. Nicholas Carlini, Florian Tramèr, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom B. Brown, Dawn Song, Úlfar Erlingsson, Alina Oprea, Colin Raffel: Extracting Training Data from Large Language Models. USENIX Security 2021: 2633-2650
  4. Jie Huang, Hanyin Shao, Kevin Chen-Chuan Chang: Are Large Pre-Trained Language Models Leaking Your Personal Information? EMNLP (Findings) 2022: 2038-2047
  5. Robin Staab, Mark Vero, Mislav Balunovic, Martin T. Vechev: Beyond Memorization: Violating Privacy Via Inference with Large Language Models. CoRR abs/2310.07298 (2023)
  6. Nils Lukas, Ahmed Salem, Robert Sim, Shruti Tople, Lukas Wutschitz, Santiago Zanella Béguelin: Analyzing Leakage of Personally Identifiable Information in Language Models. SP 2023: 346-363
  7. Nicholas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, Eric Wallace: Extracting Training Data from Diffusion Models. USENIX Security Symposium 2023: 5253-5270
  8. OpenAI. DALL-E 2 preview risks and limitations. https://openai.com/dall-e-2, 2022, Accessed: 2024-03-18
  9. Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, Patrick Schramowski, Srivatsa Kundurthy, Katherine Crowson, Ludwig Schmidt, Robert Kaczmarczyk, Jenia Jitsev: LAION-5B: An open large-scale dataset for training next generation image-text models. NeurIPS 2022
  10. Thanh Van Le, Hao Phung, Thuan Hoang Nguyen, Quan Dao, Ngoc N. Tran, Anh Tuan Tran: Anti-DreamBooth: Protecting users from personalized text-to-image synthesis. ICCV 2023: 2116-2127
  11. Ryan O’Connor. Stable diffusion 1vs2 - what you need to know. https://www.assemblyai.com/blog/stable-diffusion-1-vs-2-what-you-need-to-know/, 2022, Accessed: 2024-03-18
  12. Midjourney. Midjourney: Terms of service. https://docs.midjourney.com/docs/terms-of-service, 2022, Accessed: 2024-03-18
  13. Melissa Heikkila. Artists can now opt out of the next version of stable diffusion. https://www.technologyreview.com/2022/12/16/1065247/artists-can-now-opt-out-of-the-next-version-of-stable-diffusion/,2022, Accessed: 2024-03-18
  14. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian J. Goodfellow, Rob Fergus: Intriguing properties of neural networks. ICLR 2014
  15. Hadi Salman, Andrew Ilyas, Logan Engstrom, Sai Vemprala, Aleksander Madry, Ashish Kapoor: Unadversarial Examples: Designing Objects for Robust Vision. NeurIPS 2021: 15270-15284
  16. Jiakai Wang, Zixin Yin, Pengfei Hu, Aishan Liu, Renshuai Tao, Haotong Qin, Xianglong Liu, Dacheng Tao: Defensive Patches for Robust Recognition in the Physical World. CVPR 2022: 2446-2455
  17. Chaofei Yang, Leah Ding, Yiran Chen, Hai Li: Defending against GAN-based DeepFake Attacks via Transformation-aware Adversarial Faces. IJCNN 2021: 1-8
  18. Nataniel Ruiz, Sarah Adel Bargal, Stan Sclaroff: Disrupting Deepfakes: Adversarial Attacks Against Conditional Image Translation Networks and Facial Manipulation Systems. ECCV Workshops (4) 2020: 236-251
  19. Chin-Yuan Yeh, Hsi-Wen Chen, Shang-Lun Tsai, Shang-De Wang: Disrupting Image-Translation-Based DeepFake Algorithms with Adversarial Attacks. WACV Workshops 2020: 53-62
  20. Qidong Huang, Jie Zhang, Wenbo Zhou, Weiming Zhang, Nenghai Yu: Initiative Defense against Facial Manipulation. AAAI 2021: 1619-1627
  21. Run Wang, Ziheng Huang, Zhikai Chen, Li Liu, Jing Chen, Lina Wang: Anti-Forgery: Towards a Stealthy and Robust DeepFake Disruption Attack via Adversarial Perceptual-aware Perturbations. IJCAI 2022: 761-767
  22. Zheng Li, Ning Yu, Ahmed Salem, Michael Backes, Mario Fritz, Yang Zhang: UnGANable: Defending Against GAN-based Face Manipulation. USENIX Security Symposium 2023: 7213-7230
  23. Shawn Shan, Emily Wenger, Jiayun Zhang, Huiying Li, Haitao Zheng, Ben Y. Zhao: Fawkes: Protecting Privacy against Unauthorized Deep Learning Models. USENIX Security Symposium 2020: 1589-1604
  24. Valeriia Cherepanova, Micah Goldblum, Harrison Foley, Shiyuan Duan, John P. Dickerson, Gavin Taylor, Tom Goldstein:LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition. ICLR 2021
  25. Shengshan Hu, Xiaogeng Liu, Yechao Zhang, Minghui Li, Leo Yu Zhang, Hai Jin, Libing Wu:Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer. CVPR 2022: 14994-15003
  26. Yaoyao Zhong, Weihong Deng:OPOM: Customized Invisible Cloak Towards Face Privacy Protection. IEEE Trans. Pattern Anal. Mach. Intell. 45(3): 3590-3603 (2023)
  27. Hadi Salman, Alaa Khaddaj, Guillaume Leclerc, Andrew Ilyas, Aleksander Madry: Raising the Cost of Malicious AI-Powered Image Editing. ICML 2023: 29894-29918
  28. Shawn Shan, Jenna Cryan, Emily Wenger, Haitao Zheng, Rana Hanocka, Ben Y. Zhao: Glaze: Protecting Artists from Style Mimicry by Text-to-Image Models. USENIX Security Symposium 2023: 2187-2204
  29. Donghua Wang, Wen Yao, Tingsong Jiang, Weien Zhou, Lang Lin, Xiaoqian Chen: A Plug-and-Play Defensive Perturbation for Copyright Protection of DNN-based Applications. CoRR abs/2304.10679 (2023)
  30. Melissa Heikkiläarchive. 2022. This artist is dominating ai-generated art. and he’s not happy about it.
  31. Praneeth Bedapudi. NudeNet: Neural nets for nudity detection and censoring, 2022.
  32. Gant Laborde. NSFW detection machine learning model, 2022.
  33. Javier Rando, Daniel Paleka, David Lindner, Lennart Heim, Florian Tramèr: Red-Teaming the Stable Diffusion Safety Filter. CoRR abs/2210.04610 (2022)
  34. Patrick Schramowski, Manuel Brack, Björn Deiseroth, Kristian Kersting: Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models. CVPR 2023: 22522-22531
  35. David Chess. Some light infringement?, December 2022. URL https://ceoln.wordpress.com/2022/12/16/some-light-infringement/.
  36. “Clip retrieval system,” https://rom1504:github: io/clip-retrieval/, 2022.
  37. Ayush Sekharl,Jayadev Acharya, Gautam Kamath, Ananda Theertha Suresh: Remember What You Want to Forget: Algorithms for Machine Unlearning. NeurIPS 2021: 18075-18086
  38. Lucas Bourtoule,Varun Chandrasekaran, Christopher A. Choquette-Choo, Hengrui Jia, Adelin Travers, Baiwu Zhang, David Lie, Nicolas Papernot: Machine Unlearning. SP 2021: 141-159
  39. Thanveer Basha Shaik, Xiaohui Tao, Haoran Xie, Lin Li, Xiaofeng Zhu, Qing Li:Exploring the Landscape of Machine Unlearning: A Comprehensive Survey and Taxonomy. CoRR abs/2305.06360 (2023)
  40. Anvith Thudi, Gabriel Deza, Varun Chandrasekaran, Nicolas Papernot: Unrolling SGD: Understanding Factors Influencing Machine Unlearning. EuroS&P 2022: 303-319
  41. Aditya Golatkar, Alessandro Achille, Stefano Soatto: Eternal Sunshine of the Spotless Net: Selective Forgetting in Deep Networks. CVPR 2020: 9301-9309
  42. Andrew Bai, Cho-Jui Hsieh, Wendy Chi-wen Kan, Hsuan-Tien Lin: Reducing Training Sample Memorization in GANs by Training with Memorization Rejection. CoRR abs/2210.12231 (2022)
  43. Alexander Warnecke, Lukas Pirch, Christian Wressnegger, Konrad Rieck: Machine Unlearning of Features and Labels. NDSS 2023
  44. Eric J. Zhang, Kai Wang, Xingqian Xu, Zhangyang Wang, Humphrey Shi: Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models. CoRR abs/2303.17591 (2023)
  45. Nupur Kumari, Bingliang Zhang, Sheng-Yu Wang, Eli Shechtman, Richard Zhang, Jun-Yan Zhu: Ablating Concepts in Text-to-Image Diffusion Models. ICCV 2023: 22634-22645
  46. Jinghan Jia, Jiancheng Liu, Parikshit Ram, Yuguang Yao, Gaowen Liu, Yang Liu, Pranay Sharma, Sijia Liu: Model Sparsity Can Simplify Machine Unlearning. NeurIPS 2023
  47. Min Chen, Weizhuo Gao, Gaoyang Liu, Kai Peng, Chen Wang: Boundary Unlearning: Rapid Forgetting of Deep Networks via Shifting the Decision Boundary. CVPR 2023: 7766-7775
  48. Chongyu Fan, Jiancheng Liu, Yihua Zhang, Dennis Wei, Eric Wong, Sijia Liu: SalUn: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation. CoRR abs/2310.12508 (2023)
  49. Enayat Ullah, Tung Mai, Anup Rao, Ryan A. Rossi, Raman Arora: Machine Unlearning via Algorithmic Stability. COLT 2021: 4126-4142
  50. Damai Dai, Li Dong, Yaru Hao, Zhifang Sui, Baobao Chang, Furu Wei: Knowledge Neurons in Pretrained Transformers. ACL (1) 2022: 8493-8502
  51. Kevin Meng, David Bau, Alex Andonian, Yonatan Belinkov: Locating and Editing Factual Associations in GPT. NeurIPS 2022
  52. Nicola De Cao, Wilker Aziz, Ivan Titov: Editing Factual Knowledge in Language Models. EMNLP (1) 2021: 6491-6506
  53. Eric Mitchell, Charles Lin, Antoine Bosselut, Chelsea Finn, Christopher D. Manning: Fast Model Editing at Scale. ICLR 2022
  54. Rinon Gal, Or Patashnik, Haggai Maron, Amit H. Bermano, Gal Chechik, Daniel Cohen-Or: StyleGAN-NADA: CLIP-guided domain adaptation of image generators. ACM Trans. Graph. 41(4):141:1-141:13 (2022)
  55. Sheng-Yu Wang, David Bau, Jun-Yan Zhu: Sketch Your Own GAN. ICCV 2021: 14030-14040
  56. Sheng-Yu Wang, David Bau, Jun-Yan Zhu: Rewriting geometric rules of a GAN. ACM Trans. Graph. 41(4): 73:1-73:16 (2022)
  57. David Bau, Steven Liu, Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba: Rewriting a Deep Generative Model. ECCV (1) 2020: 351-369
  58. Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, Kfir Aberman: DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation. CVPR 2023: 22500-22510
  59. Rinon Gal, Yuval Alaluf, Yuval Atzmon, Or Patashnik, Amit Haim Bermano, Gal Chechik, Daniel Cohen-Or: An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion. ICLR 2023
  60. Nupur Kumari, Bingliang Zhang, Richard Zhang, Eli Shechtman, Jun-Yan Zhu: Multi-Concept Customization of Text-to-Image Diffusion. CVPR 2023: 1931-1941
  61. Nikhil Kandpal, Eric Wallace, Colin Raffel: Deduplicating Training Data Mitigates Privacy Risks in Language Models. ICML 2022: 10697-10707
  62. “Dall·e 2 pre-training mitigations,” https://openai.com/ research/dall-e-2-pre-training-mitigations, 2022.
  63. Martin Abadi, Andy Chu, Ian J. Goodfellow, H. Brendan McMahan, Ilya Mironov, Kunal Talwar, Li Zhang: Deep Learning with Differential Privacy. CCS 2016: 308-318
  64. Chuan Ma, Jun Li, Ming Ding, Bo Liu, Kang Wei, Jian Weng, H. Vincent Poor: RDP-GAN: A Renyi-Differential Privacy Based Generative Adversarial Network. IEEE Trans. Dependable Secur. Comput. 20(6): 4838-4852 (2023)
  65. Zhiguang Chu, Jingsha He, Dongdong Peng, Xing Zhang, Nafei Zhu: Differentially Private Denoise Diffusion Probability Models. IEEE Access 11: 108033-108040 (2023)
  66. Sahra Ghalebikesabi, Leonard Berrada, Sven Gowal, Ira Ktena, Robert Stanforth, Jamie Hayes, Soham De, Samuel L. Smith, Olivia Wiles, Borja Balle: Differentially Private Diffusion Models Generate Useful Synthetic Images. CoRR abs/2302.13861 (2023)
posted @ 2024-07-30 23:16  PamShao  阅读(645)  评论(0)  编辑  收藏  举报