06 2019 档案
摘要：批量归一化 在对神经网络的优化方法中，有一种使用十分广泛的方法——批量归一化，使得神经网络的识别准确度得到了极大的提升。 在网络的前向计算过程中，当输出的数据不再同一分布时，可能会使得loss的值非常大，使得网络无法进行计算。产生梯度爆炸的原因是因为网络的内部协变量转移，即正向传播的不同层参数会将反
阅读全文
摘要：在TensorFlow中封装好了一个高级库，tf.contrib.layers库封装了很多的函数，使用这个高级库来开发将会提高效率，卷积函数使用tf.contrib.layers.conv2d，池化函数使用tf.contrib.layers.max_pool2d和tf.contrib.layers.
阅读全文
摘要：pickle模块详解 该pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议。 “Pickling”是将Python对象层次结构转换为字节流的过程， “unpickling”是反向操作，从而将字节流（来自二进制文件或类似字节的对象）转换回对象层次结构。pickle模块对于错误或
阅读全文
摘要：在TensorFlow中，使用tr.nn.conv2d来实现卷积操作，使用tf.nn.max_pool进行最大池化操作。通过闯传入不同的参数，来实现各种不同类型的卷积与池化操作。 卷积函数tf.nn.conv2d TensorFlow里使用tf.nn.conv2d函数来实现卷积，其格式如下： tf.
阅读全文
摘要：1.Docker简介 Docker 是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。 项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。 Docke
阅读全文
摘要：1.dropout dropout是一种常用的手段，用来防止过拟合的，dropout的意思是在训练过程中每次都随机选择一部分节点不要去学习，减少神经元的数量来降低模型的复杂度，同时增加模型的泛化能力。虽然会使得学习速度降低，因而需要合理的设置保留的节点数量。 在TensorFlow中dropout的
阅读全文
摘要：在TensorFlow的优化器中， 都要设置学习率。学习率是在精度和速度之间找到一个平衡： 学习率太大，训练的速度会有提升，但是结果的精度不够，而且还可能导致不能收敛出现震荡的情况。 学习率太小，精度会有所提升，但是训练的速度慢，耗费较多的时间。 因而我们可以使用退化学习率，又称为衰减学习率。它的作
阅读全文
摘要：MNIST数据集介绍 MNIST数据集中包含了各种各样的手写数字图片，数据集的官网是：http://yann.lecun.com/exdb/mnist/index.html，我们可以从这里下载数据集。使用如下的代码对数据集进行加载： 运行上述代码会自动下载数据集并将文件解压在MNIST_data文件
阅读全文
摘要：当我们在大型的数据集上面进行深度学习的训练时，往往需要大量的运行资源，而且还要花费大量时间才能完成训练。 1.分布式TensorFlow的角色与原理 在分布式的TensorFlow中的角色分配如下： PS：作为分布式训练的服务端，等待各个终端(supervisors)来连接。 worker：在Ten
阅读全文
摘要：1.创建图 在tensorflow中，一个程序默认是建立一个图的，除了系统自动建立图以外，我们还可以手动建立图，并做一些其他的操作。 下面我们使用tf.Graph函数建立图，使用tf.get_default_graph函数来获取图，使用reset_default_graph对图进行重置。 上述的代码
阅读全文