强化学习理论-第3课-贝尔曼最优公式

1. 贝尔曼最优公式：

1.1 定义：

第2课介绍了贝尔曼公式，里面的$\pi (a|s)$策略是固定的，这里我们想求得一个最优的策略，使得state value最好

1.2 matrix-vector form：

2. 求解贝尔曼公式：

公式中，v是一个未知量，$\pi$也是要求解的最优策略。

假设a有5个action，

2.1 Contraction mapping theorem:

example:

theorem:

2.2 应用这个定理求解：

运用定理知道，一定存在一个解，并且这个解是唯一的，而且这个解可以通过迭代的方式进行。