摘要：
He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法，动机同Xaviar初始化基本一致，都是为了保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号的方差大致相等。 关于参数的大部分假设同Xaviar初始化一致，但是，He初始化对应的是非线性激活函数（Relu 和 Prelu）， 阅读全文
摘要：
先用def来定义函数，代码如下 def sq(x): return x*x map(sq,[y for y in range(10)]) 再用lambda函数来编写代码 map(lambda x: x*x,[y for y in range(10)]) 用lambda函数首先减少了代码的冗余，其次， 阅读全文
摘要：
softplus: softplus(x) = log(exp(x) + 1) 许多激活函数之一是Softplus函数，其定义为。 阅读全文