摘要:
He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法,动机同Xaviar初始化基本一致,都是为了保证信息在前向传播和反向传播过程中能够有效流动,使不同层的输入信号的方差大致相等。 关于参数的大部分假设同Xaviar初始化一致,但是,He初始化对应的是非线性激活函数(Relu 和 Prelu), 阅读全文
摘要:
先用def来定义函数,代码如下 def sq(x): return x*x map(sq,[y for y in range(10)]) 再用lambda函数来编写代码 map(lambda x: x*x,[y for y in range(10)]) 用lambda函数首先减少了代码的冗余,其次, 阅读全文
摘要:
softplus: softplus(x) = log(exp(x) + 1) 许多激活函数之一是Softplus函数,其定义为。 阅读全文