【转载】 分享2019年的一篇元强化学习论文和源码

 

 

原地址：

https://www.sohu.com/a/320984815_120177746?spm=smpc.author.fd-d.10.16239718791046Ikjk9K

 

==================================================================

 

 

 

要在复杂多变的环境中成功运作，学习代理必须能够迅速获得新技能。 人类在这一领域显示出非凡的技能ーー我们可以学会从一个例子中识别一个新物体，在几分钟内适应驾驶一辆不同的汽车，并且在听到一个新的俚语词汇后在我们的词汇表中添加它。

 

元强化学习(meta-reinforcement learning，meta-RL)算法是在机器中实现这种能力的一种很有前途的方法。 在这种模式中，代理通过利用在执行相关任务中收集到的丰富经验，从有限的数据中适应新的任务。 对于那些必须采取行动并收集自身经验的代理来说，元强化学习(meta-RL)有望实现对新场景的快速适应。

 

不幸的是，虽然经过训练的策略能够快速适应新的任务，但元训练过程需要从一系列训练任务中获得大量数据，导致 RL 算法的抽样效率低下。 因此，现有的元强化学习算法只能在模拟环境中使用。 今年三月份的一篇文章[1]中作者简要介绍 meta-RL 的最新进展，如下图示：

 

 

上图从左到右: meta-learned one-shot imitation from observing humans[2]，adapting to a broken leg with meta-model-based RL[3] ，extrapolating beyond the training task distribution with evolved policy gradients[4]。作者提出一种新的算法，称为 PEARL，这种算法抽样效率提高了几个数量级，论文源码也公布在了github[5]上，有兴趣的同学可以查看。

 

 

 

 

 

 

参考

1.https://arxiv.org/abs/1903.08254

2.https://arxiv.org/abs/1802.01557

3.https://arxiv.org/abs/1803.11347

4.https://arxiv.org/abs/1802.04821

5.https://github.com/katerakelly/oyster

 

 

 

===================================================