深度强化学习基础（王树森）
王树森—深度强化学习基础
1 基本概念
概率论
随机变量：值取决于随机事件的结果
大写字母\(X\)表示随机变量，小写字母\(x\)表示随机变量的观测值
概率密度函数（Probability Density Function, PDF）：随机变量在某个确定的取值点附近的可能性
连续 or 离散
期望：
\(p(x)\)为概率密度函数
术语
状态（state）
动作（action）
智能体（agent）：动作的执行者
策略（policy, \(\pi\)）：根据观测到的状态作出决策，控制智能体的运动
\(\pi:(s,a)\rarr [0,1]\)
\(\pi(a|s)=\mathbb{P}(A=a|S=s)\)
为什么要随机？博弈场景，确定的动作会让别人赢，因此policy最好是概率密度函数，action是随机抽样得到的
奖励（reward）：需要自己定义，对结果影响大。强化学习目标：获得奖励总和尽可能高。
状态转移（state transition）：当前状态下做一个动作，会转移到新的状态。可以是确定的，也可以是随机的（随机性从环境中来）。
状态转移函数：\(p(s'|s,a)=\mathbb{P}(S'=s'|S=s,A=a)\)
agent与环境交互：
强化学习中的随机性：
通过强化学习玩游戏：
回报（return）：未来的累计奖励
\(U_t=R_t+R_{t+1}+...\)
\(R_t\)和\(R_{t+1}\)同样重要吗？不
折扣回报（discounted return）：\(\gamma\)为折扣率（可调节的超参数）。
\(U_t=R_t+\gamma R_{t+1}+\gamma^2 R_{t+2}+...\)
回报的随机性：假设游戏结束，奖励都观测到了，为具体的数值，则用小写字母表示；如果t时刻游戏还没有结束，奖励还没被观测到，就用大写字母\(R\)表示，折扣回报用大写字母\(U\)表示。
\(U_t\)依赖于：
动作价值函数 \(Q(s,a)\)：
\(Q_{\pi}(s_t,a_t)=\mathbb{E}[U_t|S_t=s_t,A_t=a_t]\)，除了\(S_t\)和\(A_t\)（观测到），未来其它的动作和状态都被积掉了；此外还依赖policy函数，可以知道对于这个policy函数，当前哪个动作好/不好
最优动作价值函数：可以对动作进行评价。
状态价值函数：判断当前状态好不好
如何用ai控制智能体？
summary
2 基于价值的强化学习
回顾：
\(Q^*\)可以指导agent做决策，不受策略函数的影响。
Deep Q-Network (DQN)
利用神经网络近似\(Q^{*}\)函数。
\(\textbf{w}\)为神经网络参数。
如何训练DQN：Temporal Difference（TD）算法
不需要经历整个过程（玩完整个游戏）就能更新模型参数
过程：
3 基于策略的强化学习
通过神经网络（policy network）近似策略函数，需要用到policy gradient算法。
策略函数：\(\pi(a|s)\)是一个概率密度函数（PDF），需要满足概率密度函数的性质。
关键在于怎么得到这个函数。假如一个游戏状态和动作的数目都很少，可以直接画一个\(n\times m\)的表，直接把概率算出来即可。但是对于游戏这种场景，无法这样得到策略函数，需要学习一个函数来近似策略函数。
回顾：
这里的\(A\)被当作随机变量，概率密度函数是\(\pi\)，把\(A\)消掉后\(V_{\pi}(s_t)\)只和\(\pi\)和\(s_t\)有关，可以评价当前状态/策略的好坏。
通过神经网络近似策略网络\(\pi\)，进而近似\(V\)：
随机梯度，随机性来源于\(S\)
为什么梯度上升？因为想让\(V\)越来越大
Policy gradient
\(Q_{\pi}\)和\(\theta\)还是有关的，这里的推导并不严谨。
这里之所以这么做是要凑期望的形式？
对于连续变量，用第二种形式，用蒙特卡洛近似：
这里的\(\hat{a}\)是一个确定的动作。蒙特卡洛近似就是抽取一个或多个随机样本用于近似期望。这种方法对于离散动作也是适用的。
如何近似计算\(q_t\)？
REINFORCE算法：
REINFORCE算法需要玩完一局游戏，观察到所有奖励才能更新策略网络。
神经网络近似：actor-critic方法
4 基于价值的强化学习
actor：策略网络，控制agent运动。critic：价值网络，用来给动作打分。构造两个网络，通过环境给的奖励去学习。
\(V_{\pi}\)是\(Q_{\pi}\)的期望。\(\pi\)和\(Q_{\pi}\)都不知道，可以通过两个神经网络同时学习这两个函数：
神经网络近似：\(V_{\pi}(s)=\Sigma_a\pi(a|s)\cdot Q_{\pi}(s,a)\approx \Sigma_a\pi(a|s;\boldsymbol{\theta})\cdot q(s, a; \boldsymbol{w})\)
价值网络只是给动作打分，不控制agent的运动。
参数可以共享 or 独立。
网络训练：
actor靠critic打分改进动作，critic通过环境的reward改进打分水平。
可以使用TD算法更新价值网络\(q\)：
动作是根据策略网络\(\pi\)随机抽样得到的。
更新策略网络：
必须根据\(\pi\)进行随机抽样，否则保证不了无偏性。
每一次迭代执行如下9个步骤，只做一次动作，获得一次奖励，更新一次网络：
部分书和论文用\(\delta_t\)代替\(q_t\)(with baseline)：
期望完全相等，效果更好，用好的baseline可以降低方差，收敛更快。任何接近\(q_t\)的数都可以是baseline，但这不能是动作的函数。上面这种方式的baseline是\(r_t+\gamma \cdot q_{t+1}\)。
最终目标：学习策略网络。价值网络只是起到辅助作用。
5 AlphaGo & Model-Based RL
8+8+1=17
通过Behavior Cloning初始化Policy Network
最新的alpha-go zero没有用behavior cloning。
强化学习和模仿学习的本质区别在于有没有奖励。
实际上就是多分类任务：
可能存在错误累加的问题；围棋状态太多，很有可能遇到棋谱没有的动作；打败behavior cloning训练的ai，可以使用一些不同寻常的动作，使状态很特殊，不同于已有的棋谱。
Train Policy Network Using Policy Gradient
每下完一局，把胜负作为奖励，靠奖励更新player的参数。Opponent相当于环境，参数不用学习。
没有办法区分游戏里哪一部分是好棋，因此不作折扣。
更好的是蒙特卡洛树搜索。为了实现蒙特卡洛树搜索，还需要训练一个价值网络。
先训练策略网络，再训练价值网络（不是actor-critic方法）：
训练过程中，通过训好的策略网络控制Player进行决策。
训练好AlphaGo之后，实际下棋的过程中，采用蒙特卡洛树搜索（无需训练）进行决策。
