01 2019 档案
摘要:目录: 1、RNN 2、GRU 3、LSTM 一、RNN 1、RNN结构图如下所示: 其中: a^{(t)} = \boldsymbol{W}h^{t-1} + \boldsymbol{W}_{e}x^{t} + \mathbf{b} h^{t} = f(a^{t}), f 是激励函数,si
阅读全文
摘要:深度学习中的Normalization 引言 normalization中文意思是标准化,标准化就是对一组数据集合将其变成均值为0,方差为1的过程。在深度网络中主要有两种实体:神经元和相邻两层相连的权重边。根据规范化对象的不同,可以分为两类:一类是对L层网络的输出值进行Normalization的操
阅读全文