2023/3/21 组会：ChatGPT 对数据增强的影响及 ChatGPT 的鲁棒性，Dense 和 Document 检索方法

前两个也许跟上了，后两个完全没跟上，以后再详细读读吧qwq

反正组会跟不上才是正常现象。

AugGPT: Leveraging ChatGPT for Text Data Augmentation#

摘要、引言、相关工作#

当下数据增强两个缺陷

1. 真实性不足，有的跟原始 label 有偏移
2. 生成的数据缺乏紧凑性

利用 ChatGPT 改进先前的数据增强方法

FSL（few shot learning）：

• 下游上只有 1-2 个样本

RW#

数据增强方法：

1. character level
   1. OCR 这种自带的缺陷做数据增强，比如 O -> 0
2. word level
   1. 随机替换、反转、删除
   2. 同义词替换
3. contextual
   1. 利用预训练模型本身自有的知识做数据增强
4. sequence
   1. 翻译过去再翻译回来

模型#

AugGPT 的框架#

1. 把原始的话输入 ChatGPT 中，然后让它改写。
2. BERT 做 mask 的预测

Loss#

做了对比损失

实验#

数据集#

1. Amazon dataset：24 类，分类
2. Symptoms Dataset：分类症状
3. PubMed20k Dataset：分类

指标#

• 余弦相似度
  • 跟 BERT 类似，把 [CLS] 取出来，然后比较余弦相似度
• 信息熵相关的某个指标（Transrate）

结果#

ChatGPT 在 Symptoms 上取得了爆炸的效果（我估计是练过），作者认为是这个数据集比较简单

prompt design#

On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective#

摘要、引言、相关工作#

鲁棒性是可解释性的一个指标，因此本文从对抗和 OOD（这个 OOD 只能拿 22 年以后数据的测试）做分析。

例如，尝试用虚假新闻骗过 ChatGPT。

9 个任务，超过 2089 个样本上分析。

ChatGPT 在 Adverseral 和 OOD 上都优于先前的模型。

1. ChatGPT 在哪些方面做的好
   1. ChatGPT 翻译任务上表现比较好
   2. ChatGPT 在 Adverseral 和 OOD 上都比较好
   3. 对话表现好
2. 表现不好：
   1. ChatGPT 和人类认为它的水平有差距
   2. 翻译任务上不如 text-davinci-003
   3. ChatGPT 对于医学领域相关的问题无法给出确定答案，只能给出一些建议。

模型#

两个任务的目标函数#

实验#

数据集#

结果#

ChatGPT 表现最好

1. ChatGPT 在对抗数据集上都表现很好
2. 所有 GPT-2 这一系列的模型都在 OOD 数据集上表现很好
3. ChatGPT 比较其他的大模型在基于对话的理解上表现更好

Dense Passage Retrieval for Open-Domain Question Answering#

摘要、引言、相关工作#

• Sparse Retrieval
• Dense Retrieval
• 自回归检索（Autoregressive retrieval）

作者提问：是否可以只用（问题，文章）对在没有额外的与训练是训练一个更好的 dense 潜入模型？

模型#

Loss#

以下有几种负例构建方式：

1. 随机从语料库中选负例
2. BM25 找出来不包括答案但是匹配大多数问题词元的负例
3. Gold：与训练集中出现的其他问题配对的积极段落

实验#

结果#

负例越多，效果可能越好

A Neural Corpus Indexer for Document Retrieval#

据说本篇有很大争议

摘要、引言、相关工作#

作者认为：

1. dense retrieval 和 term-based retrieval 都没有办法充分利用神经网络的能力。
2. 模型不能合成深度的 查询-文档 交互。

模型#

实验#

后面跟不上了