摘要：
传统的DQN算法会导致overestimate。因为在训练开始时，最大的Q值并不一定是最好的行为。 也就是说较差的行为Q值相对较大，较好的行为Q值相对较小。这时我们在更新Q值时用最大期望来计算我们作为标签的Q值期望，会进一步导致上一个状态的Q值虚高。当然因为有explorating, 所以最后还是会 阅读全文
posted @ 2019-04-22 09:19 Wujunde 阅读(99) 评论(0) 推荐(0) 编辑
摘要：
恢复内容开始 今天在训练时遇到的问题 把损失函数由 MSE 改成 L1 Loss 的时候 Loss 有了明显的下降 以前一直觉得 MSE 相对来说会更好 ，因为求导的话有标签与结果的差值作为系数，相差越大梯度越大。 L1 Loss 梯度都是一样的。 查了一下，看到了另一种说法： 当预测值与目标值相差 阅读全文
posted @ 2018-05-06 06:03 Wujunde 阅读(1287) 评论(0) 推荐(0) 编辑
摘要：
Dijkstra算法 又称迪杰斯特拉算法，是一个经典的最短路径算法，主要特点是以起始点为中心向外层层扩展，直到扩展到终点为止，使用了广度优先搜索解决赋权有向图的单源最短路径问题，算法最终得到一个最短路径树。时间复杂度为O(N^2) 执行动画： 实例： 抽象步骤： 1.将起点A放入集合中，A点的权值为 阅读全文
posted @ 2017-07-17 11:20 Wujunde 阅读(118) 评论(0) 推荐(0) 编辑
摘要：
Kruskal’s algorithm always union the lightest link if two sets haven't been linked Prim’s algorithm maintain a key of each vertex to represent the lig 阅读全文
posted @ 2017-07-13 16:15 Wujunde 阅读(149) 评论(0) 推荐(0) 编辑
摘要：
拓扑排列可以指明除了循环以外的所有指向，当反过来还有路可以走的话，说明有刚刚没算的循环路线，所以反过来能形成的所有树都是循环 阅读全文
posted @ 2017-07-10 22:13 Wujunde 阅读(286) 评论(0) 推荐(0) 编辑
摘要：
A topological sortof a dag G is a linear ordering of all its vertices such that if G contains anedge(u,v) then u appears before in the ordering. (If 阅读全文
posted @ 2017-07-10 21:34 Wujunde 阅读(129) 评论(0) 推荐(0) 编辑
摘要：
Besides creating a depth-first forest, depth-first search also timestamps each vertex.Each vertex has two timestamps: the first timestamp :d record 阅读全文
posted @ 2017-07-10 21:16 Wujunde 阅读(315) 评论(0) 推荐(0) 编辑
摘要：
given a graph G and a distinguished source vertex s, breadth-firstsearch systematically explores the edges of G to “discover” every vertex that isreac 阅读全文
posted @ 2017-07-07 22:04 Wujunde 阅读(159) 评论(0) 推荐(0) 编辑