摘要：
1、时序差分法基本概念 虽然蒙特卡洛方法可以在不知道状态转移概率矩阵的前提下，灵活地求解强化学习问题，但是蒙特卡洛方法需要所有的采样序列都是完整的状态序列。如果我们没有完整的状态序列就无法用蒙特卡洛方法求解。此外蒙特卡洛方法的高方差依然存在。 时序差分法简称为TD法。TD法是一种结合蒙特卡洛法和动态 阅读全文
摘要：
1、“无模型学习”的基本概念 在前一章中提到的基于动态规划的策略迭代和值迭代求解强化学习都属于“有模型学习”，都是在需要知道状态转移概率矩阵的前提下才能适用的算法。然而在现实很多场景中，我们无法获得环境信息，也就是状态转移概率矩阵未知。此时我们无法再利用策略迭代和值迭代算法来求解，需要提出新的方法来 阅读全文