摘要:
Policy Gradient Methods 之前学过的强化学习几乎都是所谓的‘行动-价值’方法,也就是说这些方法先是学习每个行动在特定状态下的价值,之后在每个状态,根据当每个动作的估计价值进行选择。这种方法可看成是一种‘间接’的方法,因为强化学习的目标是如何决策,这些方法把每个动作的价值作为指标 阅读全文
摘要:
Eligibility Traces Eligibility Traces是强化学习中很基本很重要的一个概念。几乎所有的TD算法可以结合eligibility traces获得更一般化的算法,并且通常会更有效率。 Eligibility traces可以将TD和Monte Carlo算法统一起来。之 阅读全文
摘要:
Planning and Learning with Tabular Methods 在强化学习中有一种划分方式可以将算法大体分成两大类,一类是需要模型来刻画环境的算法(model based),如动态编程和启发等;另一类算法则不需要环境模型(model free),如MC与TD等。model ba 阅读全文
摘要:
n step Bootstrapping n step 方法将Monte Carlo 与 one step TD统一起来。 n step 方法作为 eligibility traces 的引入,eligibility traces 可以同时的在很多时间间隔进行bootstrapping. n ste 阅读全文