摘要：关于神经网络权重初始值的设置的研究 一、权重初始值 二、权重初始值会影响隐藏层的激活值分布 三、Xavier初始值 四、He初始值 五、基于MNIST数据集的权重初始值的比较 一、权重初始值 权值衰减—抑制过拟合、提高泛化能力。 所谓权值衰减，即，以减小权重参数的值为目的进行学习。 所以说人们一开始 阅读全文
机器学习 神经网络最优化方法
2022-04-05 14:12 by jym蒟蒻, 82 阅读, 0 推荐, 收藏, 编辑
摘要：神经网络的SGD、Momentum、AdaGrad、Adam最优化方法及其python实现 一、SGD 二、Momentum-动量 三、AdaGrad 四、Adam 一、SGD 右边的值更新左边的值，每次更新朝着梯度方向前进一小步。 class SGD: """随机梯度下降法（Stochastic 阅读全文
机器学习 反向传播 实现神经网络的ReLU、Sigmoid激活函数层
2022-04-05 14:10 by jym蒟蒻, 798 阅读, 0 推荐, 收藏, 编辑
摘要：结合反向传播算法使用python实现神经网络的ReLU、Sigmoid激活函数层 这里写目录标题 一、ReLU层的实现 二、Sigmoid层的实现 三、实现神经网络的Affine层 四、Softmax-with-Loss层实现 一、ReLU层的实现 正向传播时的输入大于0，则反向传播会将上游的值原封 阅读全文
机器学习 反向传播算法
2022-04-05 14:08 by jym蒟蒻, 262 阅读, 0 推荐, 收藏, 编辑
摘要：使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播 一、what is 反向传播 二、乘法节点的反向传播 三、加法节点的反向传播 四、加法层和乘法层混合应用 一、what is 反向传播 误差反向传播法是一种高效计算权重参数的梯度的方法。所谓的反向传播，从图上看的话，就是从右 阅读全文
机器学习 使用MNIST数据集
2022-04-05 14:07 by jym蒟蒻, 273 阅读, 0 推荐, 收藏, 编辑
摘要：下载MNIST数据集并使用python将数据转换成NumPy数组 首先来分析init_mnist函数 接下来继续分析load_mnist函数 实现数据集转换的python脚本的代码 显示MNIST图像并确认数据 下载MNIST数据集并将数据转换成NumPy数组的Python脚本里面最重要的就是loa 阅读全文
机器学习 梯度
2022-04-05 14:05 by jym蒟蒻, 255 阅读, 0 推荐, 收藏, 编辑
摘要：一、python实现求导的代码： 二、what is 梯度 三、使用梯度法寻找神经网络的最优参数 四、神经网络的梯度计算 一、python实现求导的代码： 导数含义也就是：变量x一个微小的变化将导致f(x)的值在多大程度上变化。 def numerical_diff(f, x): h = 1e-4 阅读全文
机器学习 损失函数
2022-04-05 14:04 by jym蒟蒻, 270 阅读, 0 推荐, 收藏, 编辑
摘要：损失函数 what is 损失函数 均方误差 交叉熵误差 计算mini-batch学习的损失函数 why 损失函数 what is 损失函数 神经网络学习目标是找到各层合适的权重参数w和偏置b，使得最终的输出结果能够与实际结果更加接近。那神经网络的这些权重参数是如何得到的：靠损失函数这个指标来进行一 阅读全文
机器学习 对数据集进行批处理
2022-04-05 14:03 by jym蒟蒻, 136 阅读, 0 推荐, 收藏, 编辑
摘要：只输入一张图像数据过程和一次性处理100张图像数据过程中，数组形状变换如下图所示： 这些数组形状可以在代码中输出出来： def get_data(): (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten= 阅读全文
机器学习 构建三层神经网络、softmax函数
2022-04-05 14:02 by jym蒟蒻, 110 阅读, 0 推荐, 收藏, 编辑
摘要：输入层到第一层的传递表示 第一层到第二层的传递表示 第二层到第三层的传递表示 全过程传递表示代码 输入层到第一层的传递表示 首先看输入层到第一层的第一个神经元的信号传递过程： 可以用数学式子表示第一层的第一个神经元的值： 如果用矩阵乘法运算，第一层的加权和可以表示成下面形式： 考虑激活函数的话，也就 阅读全文
机器学习 神经网络的激活函数
2022-04-05 14:01 by jym蒟蒻, 90 阅读, 0 推荐, 收藏, 编辑
摘要：神经网络的激活函数、并通过python实现 what is 激活函数 激活函数的python实现 python实现阶跃函数 python实现sigmoid函数 python实现ReLU函数 激活函数的特点 what is 激活函数 感知机的网络结构如下： 左图中，偏置b没有被画出来，如果要表示出b， 阅读全文