DQN中的ReplayBuffer和TargetNetwork有什么好处?
Intro
众所周知,在2014年,Deepmind使用DQN刷新了强化学习在Atari游戏上的SOTA记录。使DQN成为当年的SOTA,主要依靠两大利器:ReplayBuffer和TargetNetwork。
ReplayBuffer
采样与更新是这样的: 更新是在采样中的,更新和采样靠replayBuffer进行联系。连续多次采样,当采样数量每达到一次阈值,则进行一次更新。采样得到的样本扔进ReplayBuffer,更新使用ReplayBuffer中的数据。
至于它有什么好处,Paper中的原话是
To alleviate the problems of correlated data and non-stationary distributions
有两点,一、打消采样数据相关性。二、让数据分布变得更稳定。这两点都是针对Q-learning的缺点提出来的。
- 打消采样数据相关性:同一个episode前后step的数据是高度相关的,如果按照Q-learning的每个step后紧着进行更新,那么迭代过程会出现较大方差。
- 采样数据分布稳定性:DQN是连续多次采样,然后进行一次更新。你将一沓(s,a,r,s)放在Buffer中后,那么就可以按照batch进行处理,按照batch投入神经网络中进行计算更新。在Q-learning中每次更新只使用一个tuple啊!
想用神经网络来搞RL,那就得有ReplayBuffer。2014年DQN中的ReplayBuffer准确讲应该叫vanilla ReplayBuffer。它没有作什么对buffer池中数据的处理,后面也出了一些改进,现在大家用的都是Priority Replay Buffer了。
TargetNetwork
在Q-learning中,用来更新的TD Target是\(r + \gamma*Q_{max}\),这里的MAXQ是即时查表获得。
DQN用神经网络把这个Q表取代掉了,那么假如我们使用被更新的network来产出\(Q_{max}\),那这个TD Target是频繁变动,稳定性没了。出于这一点考虑,我们分出来targetNet和evalNet。让targetNet的更新频率比evalNet更低,那么我们的td target就不会频繁变动了,不就解决了吗?