弱监督学习最新文章略读
目录
噪声标签建模
1. NIPS2021，FINE Samples for Learning with Noisy Labels
代码：https://github.com/Kthyeon/FINE_official
链接：https://openreview.net/forum?id=QZpx42n0BWr
简介：
存在噪声标签的鲁棒技术可以分为两类:开发噪声鲁棒函数或通过检测噪声数据使用噪声清除方法。噪声标签检测器通常是基于启发式而不是理论，需要一个健壮的分类器来预测带有损耗值的噪声数据。设计一种鲁棒噪声检测器，介绍了FINE检测标签噪声的方法。我们的主要思想是利用特征分解产生的潜在表示的主成分。现有的检测方法大多依赖于损失值，而这种损失可能会因分类器损坏而产生偏差。在我们的框架下，我们提出了FINE的三种应用:样本选择方法和半监督学习方法，并与噪声鲁棒损失函数协作。
2. ICML2021, Asymmetric Loss Functions for Learning with Noisy Labels
代码：https://github.com/hitcszx/ALFs
链接：https://arxiv.org/abs/2106.03110
简介：
鲁棒损失函数对于训练具有较强泛化能力的深度神经网络具有重要意义。验证了对称损失函数对标签噪声的鲁棒性。然而，对称条件过于严格。我们提出了一种新的鲁棒损失函数族，即非对称损失函数，它对各种类型的噪声具有适当的容错模型。从理论上证明了包括对称损失在内的完全不对称损失是分类校准的，当它们是严格不对称时，具有一个超额风险界。
3. ICLR2021，Robust Curriculum Learning: from clean label detection to noisy label self-correction
代码：暂无（本文的写作可以参考学习）
链接：https://openreview.net/forum?id=lmTWnm3coJJ
简介：
现有方法通过(1)过滤掉噪声数据，只使用干净数据进行训练或(2)在训练期间通过模型重新标记噪声数据，或通过仅在干净数据集上训练的另一个模型重新标记噪声数据来解决这个问题。然而，前者没有利用错误标记数据的特征信息，而后者可能会对某些数据产生错误的伪标记，并引入额外的噪声。在本文中，我们通过开发一种名为鲁棒课程学习(Robust curriculum learning, RoCL)的课程学习策略来解决上述噪声标签学习的问题。
4. ICLR 2020, Curriculum Loss: Robust Learning and Generalization against Label Corruption
代码：暂无
链接：https://arxiv.org/abs/1905.10045
简介：
提出了一种新颖的损失(即课程损失)来对抗标签噪声。我们证明了与传统的基于累加的代理损失相比，我们的CL是一个更严格的0-1损失上界。此外，CL可以自适应地选择样本进行阶段性训练，在课程学习和鲁棒学习之间架起了桥梁。
附加参考：
[1] ICLR2022 UnderReview, https://openreview.net/forum?id=HY6i9FYBeFG (集成各大方法优点，效果比较强)
[2] ICLR2022, UnderReivew, https://openreview.net/forum?id=ovRQmeVFbrC (探讨半监督学习中噪声标签)
[3] ICLR2022, UnderReview ICLR: https://openreview.net/forum?id=xENf4QUL4LW, NIPS: https://openreview.net/forum?id=zGsRcuoR5-0 （样本选择那条线，执行Co-teaching策略）
[4] ICLR 2022, https://openreview.net/forum?id=RGrj2uWTLWY (半监督学习构图的学习，其数据集也是和图有关)
半监督学习
5. NIPS2021, Combating Noise: Semi-supervised Learning by Region Uncertainty Quantification
代码：暂未找到
链接：https://openreview.net/forum?id=m7XHyicfGTq
简介：
提出了一种基于区域不确定性量化的半监督学习方法用于目标检测。具体地说，我们首先对噪声伪标签的影响进行了详细的研究。我们观察到不同类型的区域建议在面对噪声标签时表现出不同的敏感性。通过将变化的灵敏度与带噪声的伪标签相结合，我们提出了一种定量的度量方法来度量区域的不确定性程度，并构造了一个不确定性感知的软目标作为学习目标。
6. ICLR2022 UnderReview, On Non-Random Missing Labels in Semi-Supervised Learning
代码：暂无
链接：https://openreview.net/forum?id=6yVvwR9H9Oj
简介：
对于半监督学习，我们提出了一个现实且具有挑战性的标签缺失非随机(MNAR)问题，这在以前的工作中没有得到广泛的研究。我们系统地分析了非随机缺失标签所造成的偏差。我们提出了一个统一的双鲁棒框架，称为类感知双鲁棒估计器(Class-Aware double robust, CADR)，通过使用类感知来消除监督模型训练端产生的偏差。
噪声标签理论解释
7. IJCAI2021, Towards Understanding Deep Learning from Noisy Labels with Small-Loss Criterion
代码：暂未找到
链接：https://www.ijcai.org/proceedings/2021/0340.pdf
简介：
在过去的几年里，处理噪声标签的深度学习方法已经被开发出来，其中许多是基于小损耗准则的。然而，很少有理论分析来解释为什么这些方法可以很好地学习噪声标签。本文从理论上解释了广泛应用的小损耗准则的作用机理。在此基础上，我们重新形式化了香草小损失准则，以更好地处理噪声标签。实验结果验证了我们的理论解释，也证明了改造的有效性。
附加：ICML2021, Wasserstein Distributional Normalization For Robust Distributional Certification of Noisy Labeled Data.
数据增强策略
8. ICLR2022, UnderReview, Noisy Feature Mixup
代码：暂无
链接：https://openreview.net/forum?id=vJb4I2ANmy
简介：
该方法将混合和流形混合作为特例，但它还有额外的优点，包括更好地平滑决策边界和使模型具有改进的鲁棒性。我们提供了理论来理解这一点，以及隐含的正则化效应窄带调频。我们的理论得到了实证结果的支持，证明了NFM相对于混合混合和流形混合的优势。
