摘要：
2016年Google DeepMind提出了Dueling Network Architectures for Deep Reinforcement Learning，采用优势函数advantage function，使Dueling DQN在只收集一个离散动作的数据后，能够更加准确的去估算Q值，选择更加合适的动作。Double DQN，通过目标Q值选择的动作来选择目标Q值，从而消除Q值过高估计的问题。D3QN（Dueling Double DQN）则是结合了Dueling DQN和Double DQN的优点。 阅读全文
摘要：
众所周知，在基于价值学习的强化学习算法中，如DQN，函数近似误差是导致Q值高估和次优策略的原因。我们表明这个问题依然在AC框架中存在，并提出了新的机制去最小化它对演员（策略函数）和评论家（估值函数）的影响。我们的算法建立在双Q学习的基础上，通过选取两个估值函数中的较小值，从而限制它对Q值的过高估计。 阅读全文
摘要：
强化学习（Reinforcement Learning，RL），也叫增强学习，是指一类从（与环境）交互中不断学习的问题以及解决这类问题的方法。强化学习问题可以描述为一个智能体从与环境的交互中不断学习以完成特定目标（比如取得最大奖励值）。 和深度学习类似，强化学习中的关键问题也是贡献度分配问题[1]，每一个动作并不能直接得到监督信息，需要通过整个模型的最终监督信息（奖励）得到，并且有一定的延时性。
本文首先通过简介强化学习基于策略函数的学习方法引出策略梯度，接着通过一般化的公式推论得到策略梯度的最优表达式，最后在排序不等式的视角下解读策略梯度的最优表达式。主要概括为以下两个部分：
（1）策略梯度的最优表达式推导
（2）排序不等式下的策略梯度 阅读全文
摘要：
Q学习（Q-Learning）算法是提出时间很早的一种异策略的时序差分学习方法；DQN则是利用神经网络对Q-Learning中的值函数进行近似，并针对实际问题作出改进的方法；而DDPG则可以视为DQN对连续型动作预测的一个扩展；本文将从定义对比分析DQN和DDPG，更好地理解二者的算法区别与联系。
本文首先通过简介DQN和DDPG涉及的常见概念，接着从DQN开始分析理解其算法流程，然后进一步地分析DDPG，最后总结二者的区别与联系。本文主要分为以下两个部分：
（1）相关概念简介
（2）DQN的算法分析
（3）DDPG的算法分析 阅读全文