强化学习7日打卡营--使用gym游戏的预处理
最近参加完百度强化学习7日打卡营的学习班,初步了解了一些强化学习的算法。学习完后,试着开始玩玩atari的游戏,老师给了一个demo,https://github.com/PaddlePaddle/PARL/tree/develop/examples/DQN_variant,model,algorithm,agent等就不多说了,这些老师课堂已经讲的很清楚了。
这个demo,需要atari游戏的rom,我是上天入地的找,找了半天都没合适的,但是gym的gym.make的游戏倒是非常多,一开始我直接gym.make,但是程序报错,alueError: all the input arrays must have same number of dimensions,看到input arrays 我第一反应应该是obs出了问题,果不其然,demo里对rom进行了处理,出来的obs的shape是(84,84),而我这里是(84,84,3),于是便开始对图形进行灰度处理,我在obs的地方进行了灰度处理,程序ok,但是运行了test的时候又报错了,讲道理,应该是没有问题的,因为我对所有的obs都进行了处理,但是无济于事,于是还是选择从env = gym.make(game_name)处进行处理,demo里atari_wrapper提供了对env的一些处理,例如图像缩放,帧数重复的处理等等,维度没有进行灰度处理,好说写了一个灰度处理的方法:
def rgb2gray(image):
return np.dot(image[...,:3], [0.299, 0.587, 0.114])
然后通过atari_wrapper的mapstate方法,直接对其进行处理:
env = MapState(env, lambda im: rgb2gray(im))
,程序OK,经过改造,程序可以直接使用gym的游戏,gym调用游戏非常方便,而且很多,直接make一个就可以了。