MDP:马尔科夫决策过程(一)

MDP:马尔科夫决策过程(Markov Decision Process)

定义:

一个马尔可夫模型包括如下部分

  • 状态集 S     (States)
  • 动作集 A     (Actions)
  • 奖惩函数 R  (reward function)
  • 在状态 s 下,执行 a 动作的影响函数 T

我们假设执行动作 a 的效果只与当前状态有关,与之前历史状态无关。

动作表示:分为 确定性动作(Determinstic Actions)随机性动作(Stochastic Actions)

  • 确定性动作:T:S × A -> S,对于每一个状态和动作可以确定下一个状态
  • 随机性动作:T:S × A -> Prob(S),对于每一个状态和动作可以确定下一个状态的概率分布

策略π (Pai):表示当前状态 s 选择怎样的动作

策略π的执行过程:

  1. 确定当前状态
  2. 根据当前状态,按照策略 π 执行动作 a
  3. 执行1

所谓全观测 (Fully Observation)就是执行动作 a 到达的下一状态 s ,系统是可以知道的

posted @ 2015-03-20 09:56  coolAlan  阅读(384)  评论(0编辑  收藏  举报