摘要：
第12课 神经网络训练细节part1（下） 用高斯分布初始化相关参数，然后乘以权值0.01，称为高斯分布初始化。本节中我们着重关注隐藏层中的神经元会如何激活，将均差和标准差绘制成柱状图。 使用高斯分布的数据，让他们与w参数相乘，然后通过激活函数。最终所有的数据都将坍缩到0。而在我们反向传播时要求x的 阅读全文
摘要：
第9课 反向传播与神经网络初步 上一节课讲到了评价函数，了解了损失函数。损失函数有两部分组成，数据损失和正则化损失。我们要做的是对损失函数进行优化操作。 计算梯度的方法有两种： 数值梯度：写起来容易，但运算慢 解析梯度：（微积分运算得到）运算快，但有时会出错，所以要进行梯度检查的操作。 强调，在处理 阅读全文