【五期邵润东】CCF-A(ICML'20) Task-aware Privacy Preservation for Multi-dimensional Data

Cheng, Jiangnan, Ao Tang, and Sandeep Chinchali. "Task-aware privacy preservation for multi-dimensional data." International Conference on Machine Learning. PMLR,2022.

  这篇论文针对如何更有效的解决学习任务中多维数据隐私保护面临的诸多挑战，如数据的隐私保护效用性权衡、数据维度陷阱、噪声对模型的影响等。作者提出了一种任务感知的隐私保护问题，该问题有效地考虑了噪声扰动对差分隐私保护的影响。作者设计了一个编解码器框架，使用本地差分隐私技术进行隐私保护。通过实验对比验证了任务感知方法的有效性，该方案在保证相同隐私保护效果的前提下，提升了模型的效果。
  这篇论文的优势在于该方案通过表征学习任务的性能对各种用户数据属性的依赖，进而来学习用户数据的简洁化与用户数据和任务相关的潜在表示，并且可以只学习和公开高值数据的属性，根据它们对任务的重要性灵活地调整信噪比，而且方案使用的框架只用暴露和干扰与任务相关的编码参数而不是原始用户数据，进而允许添加更少的噪音，从而避免过多噪声的干扰，提高任务的准确性。作者将任务感知的隐私保护问题形式化为一个损失函数最小化的问题，对于线性模型和均方误差(MSE)任务损失，给出了一个解析的近最优解，并在一般情况下给出了一个基于梯度的学习算法。
  但这篇论文中的框架还不支持对多任务学习有用的匿名表示，仅支持单个目标函数的学习任务。由于会产生过拟合现象，该方案也不适用于一般的含有多个隐藏层的深度神经网络。

2022年10月31日