百度PARL初探

强化学*是*些年最火，最接*“真实情况”的深度学*方式。对比其他学*注重的是决策问题，通过智能体与周边环境的交互学会了如何能获得更多的奖励。

百度的paddle团队开源了强化学*PARL项目，该项目有几大特性：

• 在实际任务中尝试使用强化学*解决问题
• 快速调研下不同强化学*算法在同一个问题上的效果
• 搭建分布式强化学*训练平台
• 加速python多线程代码

这些特性是在实际开发中真实需要的，PARL库内置了很多强化学*算法，可以对轻量级问题进行很好的测试，找寻basseline。

PARL的多线程也是令人兴奋的特性，这可以使python原有的多线程起到真正的作用。

附录：课表

一、强化学*(RL)初印象

• RL 概述、入门路线
• 实践：环境搭建
• 课后作业：搭建GYM环境+PARL环境，把QuickStart 跑起来

二、基于表格型方法求解RL

• MDP、状态价值、Q表格
• 实践： Sarsa、Q-learning代码解析，解决悬崖问题及其对比
• 课后作业：使用Q-learning和Sarsa解决16宫格迷宫问题。

三、基于神经网络方法求解RL

• 函数逼*方法
• 实践：DQN代码解析，解决CartPole问题
• 课后作业：使用DQN解决 MountianCar问题

四、基于策略梯度求解RL

• 策略*似、策略梯度
• 实践：Policy Gradient算法理解、代码解析，解决CartPole问题
• 课后作业：使用Policy Gradient解决Atari的Pong问题

五、连续动作空间上求解RL

• 连续动作空间、DDPG算法介绍
• PARL DDPG代码解析
• 大作业题目：RLSchool 飞行器仿真环境介绍