摘要:
1.mini batch梯度下降 在前面学习向量化时,知道了可以将训练样本横向堆叠,形成一个输入矩阵和对应的输出矩阵: 当数据量不是太大时,这样做当然会充分利用向量化的优点,一次训练中就可以将所有训练样本涵盖,速度也会较快。但当数据量急剧增大,达到百万甚至更大的数量级时,组成的矩阵将极其庞大,直接对 阅读全文
摘要:
搭建神经网络 我们要搭建的神经网络模型如下图 构建神经网络的一般方法是: 1. 定义神经网络结构 (输入单元的数量,隐藏单元的数量等)。 2. 初始化模型的参数 3. 循环 实施前向传播 计算损失 实现向后传播 更新参数(梯度下降) 我们要它们合并到一个nn_model() 函数中,当我们构建好了n 阅读全文