会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
等风南吹
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2019年6月24日
数值微分
摘要: 像这样的由全部变量的偏导数汇总而成的向量称为梯度(gradient),梯度可以像下面这样来实现,这里使用的是用数值微分求梯度的方法。 梯度法 虽然梯度的方向并不一定指向最小值,但沿着它的方向能够最大限度地减小函数的值。因此,在寻找函数的最小值(或者尽可能小的值)的位置的任务中,要以梯度的信息为线索,
阅读全文
posted @ 2019-06-24 23:19 等风南吹
阅读(564)
评论(0)
推荐(0)
编辑
基于误差反向传播法的神经网络学习的全貌图
摘要: 前提 神经网络中有合适的权重和偏置,调整权重和偏置以便拟合训练数据的过程称为学习。神经网络的学习分为下面4 个步骤。 步骤1(mini-batch) 从训练数据中随机选择一部分数据。步骤2(计算梯度) 计算损失函数关于各个权重参数的梯度。步骤3(更新参数) 将权重参数沿梯度方向进行微小的更新。步骤4
阅读全文
posted @ 2019-06-24 20:25 等风南吹
阅读(303)
评论(0)
推荐(0)
编辑
Affine层/Softmax层的实现
摘要: Affine 层 分别是形状为(2,)、(2, 3)、(3,) 的多维数组。这样一来,神经元的加权和可以用Y = np.dot(X, W) + B计算出来。 神经网络的正向传播中进行的矩阵的乘积运算在几何学领域被称为“仿射变换”。因此,这里将进行仿射变换的处理实现为“Affine层”。 Affine
阅读全文
posted @ 2019-06-24 20:10 等风南吹
阅读(2404)
评论(0)
推荐(0)
编辑