摘要:
函数的定义: def <函数名> ( <参数 ( 0个或多个 ) > ): <函数体> return <返回值> 函数的调用: - 函数调用时要给出实际参数 - 实际参数替换定义中的参数 - 函数调用后得到返回值 函数调用过程 函数参数 函数可以有参数,也可以没有,但必须保留括号 def <函数名> 阅读全文
摘要:
-pow( x , y )函数:计算xy,想算多大算多大 例:pow(2,100) 1267650600228229401496703205376 浮点数运算存在不确定尾数,不是bug 例: 0.1 + 0.2 0.30000000000000004 不确定尾数 -round( x , d ) :对 阅读全文
摘要:
在Python中 # 表示注释的作用 # 是单行注释 ''' 是多行注释。 以'''开头和结尾 Python的变量名命名规则: 大小写字母、数字、下划线和汉字等字符及组合 注意事项:大小写敏感、首字符不能是数字、不与保留字相同(保留字:被编程语言内部定义并保留使用的标识符,也叫关键字) 对于字符串序 阅读全文
摘要:
如何在深度网络中灵活应用正向和反向传播 先看对其中一个训练样本x,该怎么应用正向传播,之后讨论向量化的版本 在第一层里需要计算 z[1] = w[1]x + b[1]= z[1] = w[1]a[0]+ b[1] (w[1]和b[1]就是会影响在第一层的激活单元的参数) a[1]= g[1] ( z 阅读全文
摘要:
随机初始化权重非常重要,对于logistic回归,可以将权重初始化为0。但如果将神经网络的各个参数数组全部初始化为0,再使用梯度下降算法,那会完全无效 如果就你有2个输入特征,所以n[0] = 2,然后有2个隐藏单元,n[1] = 2,所以和隐藏层相关的矩阵w[1]是2*2的矩阵,假如全部初始化为0 阅读全文
摘要:
单层神经网络的参数:w[1] ,b[1] ,w[2] ,b[2] 以及还包括n[0]个输入特征,n[1]个隐藏单元,n[2]个输出单元 矩阵w[1]的维度是( n[1],n[0] ), b[1]的维度是( n[1],1 ),w[2]的维度是( n[2],n[1] ),b[2]的维度是( n[2],1 阅读全文
摘要:
这是神经网络正向传播方程,为什么不能直接使a[1] = z[1] , a[2] = z[2] ,即 g ( z ) = z 这是因为他们直接把输入值输出了 为了说明问题,若a[2] = z[2 这个模型的输出y或y帽不过是你输入特征x的线性组合 a[1] = z[1] = w[1]x + b[1] 阅读全文
摘要:
tanh(z) = (ez - e-z ) / ( ez + e-z ) tanh函数几乎在所有场合都更优越 用σ激活函数的一个例外场合是:使用二元分类的时候。因为二元分类问题概率数值应在(0,1)之间 因此可以在隐藏层用tanh函数,在输出层y帽计算时用σ函数 现在σ函数和tanh函数都有一个缺点 阅读全文
摘要:
双层神经网络的计算图示: 把z看做向量计算 当我们向量化时一条经验法则:当我们在一层中有不同的节点,那就纵向的堆叠起来。 如上述例子中,有z1[1] ~ ~ z4[1],对应隐藏层4个不同的节点,我们就把这4个数竖向堆叠起来,得到向量Z[1] 阅读全文
摘要:
只有一个隐藏层的神经网络: 隐藏层的含义是:在训练集中,这些中间节点的真正数值我们是不知道的,在训练集你看不到他们的数值。你只能看到输入值,也能看见输出值。这就是所谓的“隐藏层” 之前我们用向量x表示输入特征,输入特征的数值还有另外一种表示方式,用a[0]来表示,这个a也表示“激活的意思”,它意味着 阅读全文