摘要： 为什么使用激活函数 如果没有激活函数，神经网络就变成了线性模型，输出是输入的线性组合，使用一层与使用多层没有区别。如下式所示，输入为x，经过线性层计算出a1，将a1输入下个线性层得到a2，展开后可以看出，最终得到的仍然是wx+b的线性组合，只是参数值不同。 ... 阅读全文

摘要： 为什么要给网络参数赋初值 既然网络参数通过训练得到，那么其初值是否重要？设置初值不佳是否只影响收敛速度而不影响模型结果？网络参数是否可以设置为全0或者全1？ 假设网络的参数Ｗ初值都是０，如下图所示，无论输入任何Ｘ，第一层的输出Ａ将都为０，再向前传递到y也是0，... 阅读全文