强化学习的数学原理-01基本概念

---

state:$Thestatusofagentwithrespecttotheenvironment$ (agent 相对于环境的状态)

对于下面的网格地图来说：$state$就相当于$location$,用 $s_1、s_2、...、s_9$来表示

---

state space：$ThesetofallstateS=\{s_i{\}}_{i=1}^9$ 状态空间,把所有$state$放在一起得到的集合就是$statespace$

---

Action: $Foreachstate,therearefivepossibleactoin:a_1、a_2、a_3、a_4、a_5$

---

Action space of a state:$thesetofallpossibleactionsofaquadstate$

$A(s_i)=\{a_i{\}}_{i=1}^5$

---

state transition: 当采取了一个$action$后，$agent$从一个$state$转移到另一个$state$,这样一个过程佳作$statetransition$

$statetransition$定义一种$agent$和$environment$交互的行为

---

Forbidden area:有两种情况，一种是forbidden are可以到达，但是会得到相应的惩罚，另一种是forbidden area不可到达，相当于有一堵墙。

---

Tabular representation:可以用表格来描述state transition

只能能表示确定的情况

---

相比于上面的表格，更一般的做法是使用下面这种方法

state transition probability:使用概率来描述state transition

---

Policy：告诉agent在一个状态应该采取什么动作


$\pi$在强化学习中用来表示条件概率，而不是圆周率
上面图片中的情况是确定性的策略，同时也有不确定的策略

---

Reward:reward是action采取一个action后得到的实数，一个正的reward代表鼓励采取这样的action，一个负的reward代表惩罚这样的action。

reward可以理解成一个$human-machineinterface$,我们人类和机器交互的一个接口

reward依赖于当前的$state\mathrm{和}\mathrm{采}\mathrm{取}\mathrm{的}action$而不是依赖于接下来的$state$

---

trajectory:是一个$state-action-reward$ chain

---

Return:沿着trajectory，所有的reward相加得到得就是return

return的作用可以用来评估一个策略的好坏

---

discount return:

从上图可以看到上面的trajectory是无限长的，对应的return是发散的。

为了解决这个问题引入一个$discountrate\gamma \in [0,1)$

上面的return就可以用discount return来表示

$discountreturn=0+\gamma \ast 0+{\gamma }^2\ast 0+{\gamma }^3\ast 1+{\gamma }^4\ast 1+...$

$discountreturn={\gamma }^3(1+\gamma +{\gamma }^2+{\gamma }^3+...)$

$discountreturn={\gamma }^3(\frac{1}{1-\gamma })$

---

episode\trial:一个有限步的trajectory被称为episode，也就是有terminal states的trajectory。

可以采用方法将episodic转化为continue的，在terminal state时无论采取什么action都会回到terminal state。

---

MDP:Markov decision process,马尔可夫决策过程是一个框架framework

一个马尔可夫决策过程中有很多关键的元素：

set:

1. State:
2. Action
3. Reward

Probability distribution:

• State transition probability:在一个状态s，采取action a，转移到状态$s^{{}^{\prime }}$的概率$p(s^{{}^{\prime }}|s,a)$
• Reward probability:在状态s，采取action a，得到reward r的概率$p(r|s,a)$

Policy:
在状态s,采取action a的概率$\pi (a|s)$

Markov property:memoryless property