dopamine源码解析之dqn_agent
目录
- epsilon函数
- DQNAgent构造函数核心参数
- DQNAgent核心函数
- tf.make_template
- 核心数据流图
epsilon函数
linearly_decaying_epsilon，线性的对epsilon进行递减，先保持1.0一段时间（warmup_steps），然后线性递减，最后递减到最小值之后维持这个最小值；
DQNAgent构造函数核心参数
- update_horizon，n-step中的n，后向观察的步数；
- min_replay_history，在智能体进行训练之前，必须经历的step数量，智能体不能一开始就进行训练；
- update_period，当前网络参数更新的周期；
- target_update_period，当前网络参数更新到目标网络参数上的周期；
DQNAgent核心函数
- init，解析构造参数，准备输入的placeholder，构建网络结构，其中输入状态的深度是4，也就是说，输入的不是一张图像，而是4张堆叠的图像；
- _get_network_type，获取网络类型，返回一个collections.namedtuple；
- _network_template，网络模板，三层卷积，两层全连接；
- _build_networks，构造网络结构，设计了online_convnet和target_convnet两种操作，分别用于构建当前和目标网络，使用了tf.make_template函数，对于同样一个操作，不论输入的是什么，都共享同样的网络参数；
- _build_replay_buffer，构建经验重放缓冲；
- _build_target_q_op，为q-learning生成一个目标的操作；
- _build_train_op，训练的操作；
- _build_sync_op，同步的操作；
- begin_episode，开始一段周期，初始化state和action；
- step，选择动作，如果是训练过程，需要记录transition；
- end_episode，如果是训练过程，需要记录transition；
- _select_action，根据模型选择动作；
- _train_step，运行单个训练步骤，需要满足两个条件，第一，在经验缓冲中的帧数已经达到要求，第二，training_steps是update_period的整数倍；
- _record_observation，记录一个观察；
- _store_transition，记录一次转换；
tf.make_template
- tf.make_template，输入一个函数，返回一个包裹了该函数的操作，这个操作在第一次被调用的时候创建变量，然后在之后的每一次调用中，重用这些变量，这是实现变量共享的一种方法。
核心数据流图
graph BT
state_ph-->|1|online_convnet(online_convnet)
online_convnet-->|1|_net_outputs
_net_outputs-->|1|_q_argmax
_replay.states-->|2|online_convnet
online_convnet-->|2|_replay_net_outputs
_replay.next_states-->|3|target_convnet(target_convnet)
target_convnet-->|3|_replay_next_target_net_outputs
_replay_next_target_net_outputs-->|3|replay_next_qt_max
replay_next_qt_max-->|3|target
_replay_net_outputs-->|2|replay_chosen_q
target-->|3|loss
replay_chosen_q-->|2|loss
online_convnet-->|4|target_convnet
图中的数据流动包含4条线，解释如下：
- 线1，在线动作，根据当前的状态state_ph，以及当前的在线策略模型online_convnet，按照epsilon贪心方式选择最优的动作_q_argmax；
- 线2，训练动作，根据replay buffer中的记忆，以及当前的在线策略模型online_convnet，计算实际选择的动作，注意这里的选择是根据贪心方式，而不是epsilon贪心的方式选择的，这也是q-learning和sarsa算法最大的不同，也是off-policy和on-policy的根本区别；
- 线3，训练动作，根据replay buffer中的记忆，以及当前的目标策略模型target_convnet，计算Q-learning中的目标；
- 线2+线3，训练动作，根据线2计算出实际的Q值，以及线3计算出的目标Q值，进行训练，注意训练时，只有在线策略模型online_convnet会迭代，目标策略模型target_convnet并不迭代；
- 线4，每间隔一定的周期（即target_update_period），就会把当前在线策略模型online_convnet的参数同步给目标策略模型target_convnet，完成对目标模型的更新；
关于线2和线3，再说明一下，还记得Bellman目标是：
Q_t = R_t + gamma^N * Q'_t+1
其中，
Q'_t+1 = argmax_a Q(S_t+1, a) or 0 if S_t is a terminal state
线3计算的就相当于Q_t，是我们希望通过现有的在线策略模型逼近的目标，而线2计算的是当前在线策略模型的输出，因此线2和线3的差距，就是损失，利用这个损失就可以对线2中的在线策略模型中的参数进行训练。
