09 2017 档案
摘要:import tensorflow as tf with tf.variable_scope('v_scope',reuse=True) as scope1: Weights1 = tf.get_variable('Weights', shape=[2,3]) bias1 = tf.get_vari
阅读全文
摘要:一、产生X样本 x_train = np.random.random((5, 3)) 随机产生一个5行3列的样本矩阵,也就是5个维度为3的训练样本。 二、产生Y样本 y_train = np.random.randint(10, size=(20, 1)) 产生一个20行1列的Y样本,值分布为10个
阅读全文
摘要:一、Sigmoid函数 1)表达式 2)函数曲线 3)函数缺点 梯度饱和问题。先看一下反向传播计算过程: 反向求导: 而其中: 所以,由上述反向传播公式可以看出,当神经元数值无线接近1或者0的时候,在反向传播计算过程中,梯度也几乎为0,就导致模型参数几乎不更新了,对模型的学习贡献也几乎为零。也称为参
阅读全文
摘要:一、梯度下降、随机梯度下降、批量梯度下降 梯度下降:梯度下降中,对于θ 的更新,所有的样本都有贡献,也就是参与调整θ 。其计算得到的是一个标准梯度。因而理论上来说一次更新的幅度是比较大的。如果样本不多的情况下,当然是这样收敛的速度会更快。 随机梯度下降:随机梯度下降法,随机用样本中的一个例子来近似总
阅读全文
摘要:说到神经网络,大家看到这个图应该不陌生: 这是典型的三层神经网络的基本构成,Layer L1是输入层,Layer L2是隐含层,Layer L3是隐含层,我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换,让你把
阅读全文