论文笔记：Learning how to Active Learn: A Deep Reinforcement Learning Approach
Learning how to Active Learn: A Deep Reinforcement Learning Approach
2018-03-11 12:56:04
Paper: https://www.aclweb.org/anthology/D17-1063
Code: https://github.com/mengf1/PAL
1. Introduction：
对于大部分 NLP 的任务，得到足够的标注文本来进行模型的训练是一个关键的瓶颈。所以，active learning 被引入到 NLP 任务中以最小化标注数据的代价。AL 的目标是通过识别一小部分数据来进行标注，以此来降低 cost，选来最小化监督模型的精度。
毫无疑问的是，AL 对于其他语言来说，特别是 low-resource languages，是非常重要的，因为其 annotation 通常很难获取，标注预算不太大。这种设置是 AL 很自然的应用，然而，很少有工作完成这个部分。一个潜在的原因是：大部分AL algorithm 需要 data 的一小部分作为 “seed set” 来学习一个基础的分类器，可以用于后续的主动数据选择（Active data selection）。然而，在低资源设定下给定匮乏的数据，这个假设使得标准的方法变的不可实施。
本文中，我们提出 PAL，简称：Policy based Active Learning，是一种新颖的方法来从数据中，学习一个 dynamic AL strategy。这使得该策略可以应用于其他设定，如：cross-lingual applications。我们的算法不需要一个固定的 heuristic，而是去学习如何主动地选择数据，构成了一个强化学习问题。一个智能的 agent，必须决定是否序列的选择数据进行标注，其中，决策策略是利用 deep Q-network 来学习的。该策略是利用观测到的：句子的内容信息（content information），监督模型的分类及其置信度（the supervised model's classifications and its confidence）。对应的，一个丰富、动态的策略可以通过标注决策的历史序列来进行标注新的数据中进行学习。
此外， 为了降低目标语言对数据的依赖，而且可能是 low resource，我们可以在另一个语言中AL的策略迁移到目标语言当中（we first learn the policy of active learning on another language and then transfer it to the target language）。在一个 high resource language 上学一个策略是很简单的，因为有大量的数据，如：English。我们构建cross-lingual word embeddings 来学习匹配的数据表示，使得学习到的策略可以轻易地移植到其他语言中。
我们的工作与前人在 NLP 上 AL 的探索不同。大部分前人的 AL algorithms 是研发以基于一种语言用于 NER tasks，然后用于该语言。另一个主要的不同在于，许多 AL algorithms 利用固定数据的启发式选择（use a fixed data selection heuristic），例如：不确定性采样（uncertainty sampling）。然而，在我们的算法中，我们显示的利用 uncertainty information 作为RL agent 的一个主要观测。
2. Methodology：
2.1 Active learning as a decision process
AL 是用于标注数据的简单算法，首先从一个未标注的数据集中选择一些 instances，然后通过一个人工环节来进行标注，然后依次循环，直至满足某一停止标准，即：the annotation budget is exhausted。通常，这个选择函数是基于某一预先训练模型的估计，此时已经在每一个阶段拟合标注的数据集，其中，数据点，是依赖于该模型的预测不确定性进行选择的（the datapoints are selected based on the model's predictive uncertainty），or divergence in predictions over an ensemble。这些方法的关键 idea 在于：find the instances on which the model is most likely to make errors, 即：找到使得模型最可能犯错的那些数据点。这样，在他们的标注以及包含后，该模型在此类 unseen data 上变的鲁棒。
AL 算法的过程可以看做是 decision process，将 AL algorithm 看做是序列决策过程，AL的阶段对应系统的状态（the stages of active learning corresponding to the state of the system）。Accordingly，the state corresponds to the selected data for labelling and their labels, and each step in the active learning algorithm corresponding to a selction action, wherein the heuristic selects the next items from a pool. 当预算消耗完毕的时候，该过程终止。
2.2 Steam-based learning：
之所以会有这个假设，是因为想把 active learning 看做是序列决策问题，用 DRL 来解决。所以，这里抛弃了传统的基于 pool 的那种思路，用这种顺序处理的做法。
2.2.1 State：
由三个部分构成：
content representation : 用现有的 CNN 来提取句子的feature；
representation of marginals ：
confidence of sequential prediction ： 序列估计的置信度
2.2.2 Action：
动作就是选择 或者 不选择
2.2.3 Reward：
奖励是根据 held-out performance 进行评价的，即：根据选择某一动作后，是否使得验证集的性能得到了提升，给予 pos or neg 的奖励；
2.2.4 Budget：
总得需要标注的 instance 的个数
2.2.5 Reinforcement Learning：
这里用的就是 DQN 算法，具体可以参考其他博客。
2.3 Cross-lingual policy transfer ：
这里进行跨语言策略迁移的目的是：为了处理数据量比较少的语言中的 active learning 问题。作者采用 Transfer learning 的方法，在数据量丰富的数据集上学习一个比较好的 policy，然后将这种策略应用到 数据量较少的 domain 或者 task 上。
可以看到这个 Algorithm 2 与 Algorithm 1 很大的不同在于输入多了一个 policy，而这个 policy 是在 source language 上学习出来的。
2.4 Cold-start transfer ：
以上迁移学习方法有如下两个局限性：
1. the requirement for held-out evaluation data ; 需要 held-out 数据
2. the embedding of the oracle annotation inside the learning loop 循环内部需要手动标注
前者意味着需要更多的监督信息，后者需要实时处理，并且需要人工参与。
For this data and -communication-impverished setting, denoted as cold-start ,
==>> 我们仅仅允许一次给 target data 请求标注的机会；
==>> 不用 held-out data，不进行策略更新； 即： the agent can select a batch of unlabeled target instances for annotations, but can not use these resulting annotations or any other feedback to refine the selection.
在这种更加困难的情况下，我们采用 pre-trained model，使得 the agent 可以在缺乏 feedback 的情况下，做出更加具有信息量的决策。
