论文解读（MetaAdapt）《MetaAdapt: Domain Adaptive Few-Shot Misinformation Detection via Meta Learning》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ]

论文信息

论文标题：MetaAdapt: Domain Adaptive Few-Shot Misinformation Detection via Meta Learning
论文作者：Zhenrui Yue、Huimin Zeng、Yang Zhang、Lanyu Shang、Dong Wang
论文来源：2023 ACL
论文地址：download
论文代码：download
视屏讲解：click

1 介绍

　　出发点：域偏移导致的性能下降；

　　简介：为了解决数据稀缺性的问题，提出了一种基于元学习的领域自适应小样本错误信息检测方法。MetaAdapt 利用有限的目标例子来提供反馈，并指导从源领域到目标领域的知识转移。特别地，本文用多个源任务来训练初始模型，并计算它们与元任务的相似性得分。基于相似性得分，重新调整了元梯度，以自适应地从源任务中学习；

2 方法

模型框架：

场景：

　　小样本元域适应：源域带标记数据+目标域 k-shot 带标记数据；

2.1 MetaAdapt

　　双层优化目标（训练目标）：

　　　　$\underset{\boldsymbol{\theta}}{\text{min}}\frac{1}{n} \sum^{n} \mathcal{L}\left(\mathcal{A} l g\left(\boldsymbol{\theta}, \operatorname{Sampler}\left(\boldsymbol{X}_{s}\right)\right), \boldsymbol{X}_{t}^{\prime}\right) \quad\quad(1)$

　　内部优化目标（源域）：

　　　　$\mathcal{A} l g(\boldsymbol{\theta}, \boldsymbol{X})=\boldsymbol{\phi}=\boldsymbol{\theta}-\alpha \nabla_{\boldsymbol{\theta}} \mathcal{L}(\boldsymbol{\theta}, \boldsymbol{X}) \quad\quad(2)$

　　任务梯度（task gradient）：

　　　　$\text{task gradient}\doteq \phi_{i}-\theta \quad\quad(3)$

　　其中：

　　　　$\begin{array}{l}\phi &= \frac{d \mathcal{L}\left(\mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X}), \boldsymbol{X}_{t}^{\prime}\right)}{d \boldsymbol{\theta}}\\&=\quad \frac{d \mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X})}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}} \mathcal{L}\left(\mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X}), \boldsymbol{X}_{t}^{\prime}\right)\end{array}\quad\quad(4)$

　　元梯度（meta gradient）：

　　　　$\frac{d \phi_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right)$

　　Note：二阶导数

　　假设：如果任务梯度和元梯度产生较高的相似性得分，则参数在内环和外环优化中都收敛到相同的方向；

　　假设源域上存在 $n$ 个任务，则得到 $n$ 个相似性得分：

　　　　$s_{i}=\operatorname{CosSim}\left(\phi_{i}-\boldsymbol{\theta}, \frac{d \boldsymbol{\phi}_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right)\right)\quad\quad(5)$

　　因此，计算相似性得分概率分布：

　　　　$s=\operatorname{softmax}\left(\left[\frac{s_{1}}{\tau}, \frac{s_{2}}{\tau}, \ldots, \frac{s_{n}}{\tau}\right]\right) \quad\quad(6)$

　　目标域参数的更新如下（任务相似性得分加权）：

　　　　$\boldsymbol{\theta}-\beta \sum_{i}^{n} s_{i} \cdot \frac{d \boldsymbol{\phi}_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right) \quad\quad(7)$