03 2018 档案
摘要:一 TensorFlow安装 1.1 TensorFlow介绍 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow为张量从流图的一端流动到另一
阅读全文
摘要:一 批标准化 (batch normalization) 1.1 批标准化 Batch Normalization是Google2015年在论文:http://jmlr.org/proceedings/papers/v37/ioffe15.pdf中提出来的 训练深层的神经网络很复杂,因为训练时每一层
阅读全文
摘要:一 mini batch 1.1 小批量梯度下降 $$b \to b' = b - η\frac{∂C}{∂b}\approx b -
阅读全文
摘要:一 theano内置数据类型 一 theano内置数据类型 只有thenao.shared()类型才有get_value()成员函数(返回numpy.ndarray)? 1. 惯常处理 x = T.matrix('x') # the data is presented as rasterized i
阅读全文
摘要:先声明:theano模块的内容大都是参考来源于网上,并亲手实践复现一遍,也有部分内容是自己补充 本文会列出所参考文章,如有版权问题,请联系我,我会及时删除 '''x= T.dscalar('x')y= T.dscalar('y')z = x + yf = theano.function([x,y],
阅读全文
摘要:先声明:theano模块的内容大都是参考来源于网上,并亲手实践复现一遍,也有部分内容是自己补充 本文会列出所参考文章,如有版权问题,请联系我,我会及时删除
阅读全文
摘要:这部分内容是我在看Andreg Ng深度学习视频,然后又阅读了一些文章整理后记录下来的。视频连接:http://mooc.study.163.com/smartSpec/detail/1001319001.htm 一 训练集,校验集,测试集以及偏差和方差 1.1 训练集,校验集,以及测试集 训练集:
阅读全文
摘要:4.神经网络可以计算任何函数的可视化证明 神经网络拥有一定的普遍性,即包含一个隐藏层的神经网络可以被用来按照任意给定的精度来近似任何连续函数。 这一章使用一个实例来阐述神经网络是如何来近似一个一元函数,和一个二元函数,并扩展到一个多元的实值函数。 5.深度神经网络为何很难训练 这一章讲述了在深度网络
阅读全文
摘要:在这一节,我们对上一个程序(Network1.py)进行了优化 3.改进神经网络的学习方法 (1)交叉熵代价函数的引入 Network1程序采用了S型神经元,S型神经元存在一个问题,当输出层神经元的输出接近0,或者1的时候,sigmoid函数曲线相当平导致此时sigmoid函数的导数很小,当选择二次
阅读全文
摘要:最近花了半个多月把Mchiael Nielsen所写的Neural Networks and Deep Learning这本书看了一遍,受益匪浅。 该书英文原版地址地址:http://neuralnetworksanddeeplearning.com/ 回顾一下这本书主要讲的内容 1.使用神经网络识
阅读全文
摘要:本博文主要是较为直观的理解卷积神经网络的工作原理,明白卷积神经网络是怎么工作的(转载) 近日,Dishashree Gupta 在 Analyticsvidhya 上发表了一篇题为《Architecture of Convolutional Neural Networks (CNNs) demyst
阅读全文
摘要:一、numpy模块 Numpy是Python科学计算的基础包,它提供不了多维数组对象,基于数组的各种派生对象(例如掩码数组和矩阵),以及用于对数组进行快速操作的各种例程,包括数学、逻辑、形状操作、排序、选择、I/O 、离散傅里叶变换、基本线性代数、基本统计运算、随机模拟等等。 1.1 基础介绍 Nu
阅读全文
摘要:假设一个三层的神经网络结构图如下: 对于一个单独的训练样本x其二次代价函数可以写成: C = 1/2|| y - aL||2 = 1/2∑j(yj - ajL)2 ajL=σ(zjL) zjl = ∑kωjklakl-1 + bjl 代价函数C是ajL的函数,ajL又是zjL的函数,zjL又是ωjk
阅读全文
摘要:一、windows下深度学习环境的搭建 1.1 安装Anaconda Anaconda是一个用于科学计算的python发行版,支持linux,mac,windows系统,提供了包管理和环境管理的功能,Anaconda是一个打包的集合,里面装好了conda,某个版本的python,众多的package
阅读全文