强化学习理论-第5课-蒙特卡洛方法

之前的章节都是基于model base，这节是model free的方法。

1. model-base to model-free:

2. 计算$q_{\pi k}:$

3. MC base algorithm:

step 1和model base是不一样的，后面的步骤是一样的。

4. MC exploring starts算法:

提出visit概念，MC Basic的算法只考虑第一个visit，对数据的使用是浪费的。

4.1 update the policy:

第一种方案是收集到所有的episodes，然后再计算；另一种是获得一个episode，计算近似值，改进策略

4.2 MC exploring starts：

在实际当中，获取所有的(s,a)是比较困难的，所以有下面的改进策略。

5. MC Epsilon-Greedy：

A policy is called soft if the probability to take any action is positive.