强化学习Chapter2——优化目标（1）

合集 - Reinforce Learning(6)

1.强化学习Chapter1——基本认识2023-07-12

2.强化学习Chapter2——优化目标（1）2023-07-13

3.强化学习Chapter2——优化目标（2）2023-07-134.强化学习Chapter3——贝尔曼方程2023-07-135.强化学习Chapter4——两个基本优化算法（1）2023-08-036.强化学习Chapter4——两个基本优化算法（2）2023-08-04

收起

强化学习Chapter2——优化目标（1）

上节涉及强化学习基本思路以及利用数学方式表征强化学习，但对强化学习的目标并没有进行详尽的定义，而仅用回报的定义一笔带过。本节的目标旨在不涉及算法地详述强化学习的目标。

强化学习一般性目标

上文提到，强化学习的目标可以解释为：在一个 Trajectories $\tau$ 中积累的 Reward 尽可能高，也即是 Return 尽可能高。为了表示这个目标，首先要表征 Trajectory，而后者的形式为：

$$(s_0, a_1, s_1, a_2,s_3,...)$$

为了保证结论的普适性，假设环境的迁移也是随机的，即在给定 $s_t, a_t$ 后，迁移到 $s_{t+1}$ 是一个概率行为，也就是说 $s_{t+1}$ 是从一个分布中采样获得的。

$$P(s_{t+1}|s_t,a_t)$$

除此之外，$a_t$ 实际上也是 $s_t$ 的函数（这里依然假设策略是随机的），即

$$a_t \sim \pi(\cdot|s_t)$$

因此表征单步的状态迁移，实际上是如下形式：

$$P(s_{t+1}|s_t,a_t)\pi(a_t|s_t)$$

最后，任何轨迹都是从一个 $s_0$ 出发的，假设其服从 start-state distribution $\rho_0$ ：

$$s_0\sim\rho_0(\cdot)$$

在此基础上就能采样出一条轨迹：

$$P(\tau|\pi)=\rho_0(s_0)\prod^{T-1}_{t=0} P(s_{t+1}|s_t,a_t)\pi(a_t|s_t)$$

若设对于轨迹 $\tau$ 的回报 Return 为 $R(\tau)$，强化学习目标为 $J$，则有：

$$J(\pi)=\int_\tau P(\tau|\pi)R(\tau)=E_{\tau\sim\pi}[R(\tau)]$$

可以看出，这一切的缘由，都是策略 $\pi$ ，因此强化学习的优化目标，就是获取使得 $J$ 最大的 $\pi$：

$$\pi^*=\arg \max_\pi J(\pi)$$

右上角的星号表明他是最优的（optimal policy）。