Sequential Decision Making under uncertain - 不确定性条件下的序列决策制定
Sequential Decision Making
序列决策制定可以被归纳为为下面的交互式闭环过程:
目标:选择能够最大化未来全部收益期望的动作(actions)。
这可能不一直都是好的标准,但这是大多数强化学习所关注的。但现在也有一些人对distribution honorable强化学习和其他方面有兴趣
- 可能需要平衡即时收益和长期回报
- 可能需要策略化的行为以取得高回报(你可能需要牺牲初始阶段的高奖励以取得更好的长期奖励)
更进一步地:
在每一个时间步t:
- Agent 采取一个action a t a_t at
- World 更新执行 a t a_t at后的状态,返回观察 o t o_t ot和奖励 r t r_t rt
- Agent 接收观察 o t o_t ot和奖励 r t r_t rt
我们可以定义一个history h t = ( a 1 , o 1 , r 1 , . . . , a t , o t , r t ) h_t=(a_1,o_1,r_1,...,a_t,o_t,r_t) ht=(a1,o1,r1,...,at,ot,rt)
Agent基于history选择action。
State是假定去确定下一步发生什么的信息:
- 或者说State是history的一个函数: s t = f ( h t ) s_t=f(h_t) st=f(ht)
World State
- World State(为了和State作区分,是world的真实状态,agent有自己独有的状态空间)被用于确定world如何产生下一个观察和奖励
- World State通常对agent来说是不可见的或者未知的
- 即使会包含一些agent不需要的信息
Agent State
- 被agent用于制定决策如何行动
- 总的来说是一个历史的函数 s t = f ( h t ) s_t=f(h_t) st=f(ht)
- 可以包含诸如算法状态的元信息(执行了多少计算步骤,等)或决策过程(一轮里还有多少决策需要制定)
Markov Assumption
information state:充足的history的统计数据。
State
s
t
s_t
st是马尔科夫的当且仅当:
p
(
s
t
+
1
∣
s
t
,
a
t
)
=
p
(
s
t
+
1
∣
h
t
,
a
t
)
p(s_{t+1}|s_t,a_t)=p(s_{t+1}|h_t,a_t )
p(st+1∣st,at)=p(st+1∣ht,at)
为了对未来做出预测,只需要知道Enviroment的当前状态,即给定现在时未来对过去是独立的。
Why is Markov Assumption Polular ?
- Markov Assumption可以一直被满足
- 只要把state设定成history它就是马尔科夫的: s t = h t s_t=h_t st=ht
- 在实践中通常假定最近的观察是充足的history统计数据: s t = o t s_t=o_t st=ot
- State representation 对以下有影响:
- 计算复杂度
- 需要的数据量
- 最终结果的性能
Full Observability / Markov Decision Process(MDP)
如果我们假定Environment的观察等于world的state: s t = o t s_t=o_t st=ot,那么agent就是以马尔科夫决策过程(MDP)来建模world的。
Partial Observability / Partially Observable Markov Decision Process(POMDP)
- Agent的state和world的state是不同的(partially)
- Agent自己构建自己的state,e.g
- 使用history s t = h t s_t=h_t st=ht,或者使用world state的belief(信念), 或者使用RNN
Types of Sequential Decision Process: Bandits
- Bandits(老虎机):action对下一个观察没有影响
- 没有延期的奖励。
Bandits是一种简单的马尔科夫决策过程。
Types of Sequential Decision Process: MDPs and POMDPs
对MDP和POMDP来说:
- actions会影响未来的观察
- 可能需要奖励分配(Credit assignment)和策略化action
Types of Sequential Decision Process: How does the world changes
- Deterministic(确定性):给定一个history和action,只会产生一个观察(obsercation)和奖励(reward)
- 在机器人和控制论里是常见假设
- Stochastic(随机性): 给定一个history和action,可能会有多个潜在的观察(obsercation)和奖励(reward)
- 针对顾客,患者,难以建模的领域来说是常见假设