08 2024 档案
摘要：一、内在偏见与外在偏见 1、内在偏见：训练前数据集中存在的刻板印象； 2、外在偏见：用来衡量偏差如何在下游任务中传播。通常包括微调，然后评估其关于性别和种族等敏感属性的表现； 3、许多NLP应用程序对现有的语言模型进行了微调，这些模型将外在偏见和内在偏见交织在一起。 二、10种度量方法 2.1 内在
阅读全文
摘要：一、对抗学习 1.1 ADV-标准对抗 主要思想：防止鉴别器识别受保护的属性。以对抗性方法训练模型，并明确掩盖受保护信息。 损失函数： 1.2 EADV-优化对抗 ADV存在的问题：在某些情况下，即使对抗性组件似乎做得很完美，仍有相当数量的受保护信息，并且可以从编码的表示中提取。 EADV主要思想：
阅读全文
摘要：一、模型蒸馏 1.1 蒸馏简介 知识蒸馏是指通过教师模型指导学生模型训练，通过蒸馏的方式让学生模型学习到教师模型的知识，最终使学生模型达到或媲美教师模型的准确度。 在模型压缩中，教师模型是一个预训练好的复杂的模型，而学生模型是一个规模较小的模型。如分类任务中，由训练好的教师模型在相同的数据下，通过将
阅读全文
