摘要: 神经网络可以用在分类问题和回归问题上,不过需要根据情况改变输出层的激活函数。一般而言,回归问题用恒等函数,分类问题用softmax函数。 恒等函数代码: def identity_function(x): return x 简单softmax函数: def softmax(x): return np 阅读全文
posted @ 2021-03-26 14:55 剑伟 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 神经网络的学习的目的是找到使用使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化(optimization)。遗憾的是,神经网络的最优化问题非常难。这是因为参数空间非常复杂,无法轻易找到最优解(无法使用那种通过解数学式一下子就求得最小值的方法)。而且,在深度神经网络中 阅读全文
posted @ 2021-03-26 14:02 剑伟 阅读(266) 评论(0) 推荐(0) 编辑
摘要: 全局代码: def init_network(): network = {} network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]) network['b1'] = np.array([0.1, 0.2, 0.3]) network[ 阅读全文
posted @ 2021-03-26 13:58 剑伟 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 神经网络的学习中所用的指标称为损失函数(loss function)这个损失函数可以使用任意函数,但一般使用均方误差和交叉熵误差等。 损失函数是表示神经网络性能的“恶劣程度”的指标,即当前神经网络对监督数据在多大程度上不拟合,在多大程度上不一致。 均方误差 公式:E=1/2Σ(yk-tk)2 这里, 阅读全文
posted @ 2021-03-26 13:44 剑伟 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 在感知机中,神经元节点只有x和y 例如: (1)当b+w1x1+w2x2<=0, y=0 (2)当b+w1x1+w2x2>0, y=1 其中,x1x2都是感知机输入层,w1w2则是输入层到输出层信号的权重,再经过参数b的偏置后,根据是否大于0输出二元信号y=0或y=1 在这里,假如设定a=b+w1x 阅读全文
posted @ 2021-03-26 13:40 剑伟 阅读(189) 评论(0) 推荐(0) 编辑
摘要: np.zeros类似于C中的calloc,预定义后随着使用而动态分配内存 而np.zeros_like类似于C中的malloc+memset,在预定义时就直接初始化内存,之后直接使用内存,系统不再重新分配 以下测试结果取自https://stackoverflow.com/questions/274 阅读全文
posted @ 2021-03-26 12:25 剑伟 阅读(1465) 评论(0) 推荐(0) 编辑