程序项目代做,有需求私信(小程序、网站、爬虫、电路板设计、驱动、应用程序开发、毕设疑难问题处理等)

随笔分类 -  tensorflow

摘要:一 初始化RNN 上一节中介绍了 通过cell类构建RNN的函数,其中有一个参数initial_state,即cell初始状态参数,TensorFlow中封装了对其初始化的方法。 1.初始化为0 对于正向或反向,第一个cell传入时没有之前的序列输出值,所以需要对其进行初始化。一般来讲,不用刻意取指 阅读全文
posted @ 2018-05-17 21:43 大奥特曼打小怪兽 阅读(3812) 评论(0) 推荐(1) 编辑
摘要:本节主要介绍在TensorFlow中实现LSTM以及GRU网络。 一 LSTM网络 Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型,可以学习长期依赖信息。LSTM 由 Hochreiter & Schmidhuber (1997) 提出,并在近期被 A 阅读全文
posted @ 2018-05-12 23:29 大奥特曼打小怪兽 阅读(36183) 评论(1) 推荐(4) 编辑
摘要:这一节使用TensorFlow中的函数搭建一个简单的RNN网络,使用一串随机的模拟数据作为原始信号,让RNN网络来拟合其对应的回声信号。 样本数据为一串随机的由0,1组成的数字,将其当成发射出去的一串信号。当碰到阻挡被反弹回来时,会收到原始信号的回声。 如果步长为3,那么输入和输出的序列如下图所示: 阅读全文
posted @ 2018-05-08 21:34 大奥特曼打小怪兽 阅读(1690) 评论(0) 推荐(0) 编辑
摘要:退位减法具有RNN的特性,即输入的两个数相减时,一旦发生退位运算,需要将中间状态保存起来,当高位的数传入时将退位标志一并传入参与计算。 我们在做减法运算时候,把减数和被减数转换为二进制然后进行运算。我们定义一个RNN网络,输入节点数为2个,依次传入减数和被减数的二进制序列值,隐藏层节点数为16个,由 阅读全文
posted @ 2018-05-07 20:16 大奥特曼打小怪兽 阅读(1479) 评论(0) 推荐(0) 编辑
摘要:在深度学习章节里,已经介绍了批量归一化的概念,详情请点击这里:第九节,改善深层神经网络:超参数调试、正则化以优化(下) 神经网络在进行训练时,主要是用来学习数据的分布规律,如果数据的训练部分和测试部分分布不一样,那么网络的泛化能力会变得非常差.而且对于训练的数据,每批分布也是不一样的,那么网络在迭代 阅读全文
posted @ 2018-05-05 23:26 大奥特曼打小怪兽 阅读(20611) 评论(1) 推荐(1) 编辑
摘要:在使用卷积神经网络时,我们也总结了一些训练技巧,下面就来介绍如何对卷积核进行优化,以及多通道卷积技术的使用。 一 优化卷积核 在实际的卷积训练中,为了加快速度,常常把卷积核裁开。比如一个3x3的卷积核,可以裁成一个3x1和1x3的卷积核(通过矩阵乘法得知),分别对原有输入做卷积运算,这样可以大大提升 阅读全文
posted @ 2018-05-05 18:16 大奥特曼打小怪兽 阅读(6019) 评论(1) 推荐(2) 编辑
摘要:这一节,介绍TensorFlow中的一个封装好的高级库,里面有前面讲过的很多函数的高级封装,使用这个高级库来开发程序将会提高效率。 我们改写第十三节的程序,卷积函数我们使用tf.contrib.layers.conv2d(),池化函数使用tf.contrib.layers.max_pool2d()和 阅读全文
posted @ 2018-05-05 16:36 大奥特曼打小怪兽 阅读(18671) 评论(0) 推荐(0) 编辑
摘要:在第十三节,我们已经介绍了使用带有全局平均池化层的CNN对CIFAR10数据集分类,在学习了反卷积神经网络之后我们把第十三节那个程序里的卷积层可视化出来。 一 替换掉tf.nn.max_pool()函数 这里不再使用自己定义的max_pool_2x2函数,改成新加入的带有mask返回值得max_po 阅读全文
posted @ 2018-05-05 11:45 大奥特曼打小怪兽 阅读(3356) 评论(1) 推荐(1) 编辑
摘要:反卷积是指,通过测量输出和已知输入重构未知输入的过程。在神经网络中,反卷积过程并不具备学习的能力,仅仅是用于可视化一个已经训练好的卷积神经网络,没有学习训练的过程。反卷积有着许多特别的应用,一般可以用于信道均衡、图像恢复、语音识别、地震学、无损探伤等未知输入估计和过程辨识方面的问题。 在神经网络的研 阅读全文
posted @ 2018-05-04 22:12 大奥特曼打小怪兽 阅读(14382) 评论(5) 推荐(2) 编辑
摘要:这里使用的数据集仍然是CIFAR-10,由于之前写过一篇使用AlexNet对CIFAR数据集进行分类的文章,已经详细介绍了这个数据集,当时我们是直接把这些图片的数据文件下载下来,然后使用pickle进行反序列化获取数据的,具体内容可以参考这里:第十六节,卷积神经网络之AlexNet网络实现(六) 与 阅读全文
posted @ 2018-05-04 13:07 大奥特曼打小怪兽 阅读(6853) 评论(1) 推荐(1) 编辑
摘要:TensorFlow程序读取数据一共有3种方法: 供给数据(Feeding): 在TensorFlow程序运行的每一步, 让Python代码来供给数据。 从文件读取数据: 在TensorFlow图的起始, 让一个输入管道从文件中读取数据。 预加载数据: 在TensorFlow图中定义常量或变量来保存 阅读全文
posted @ 2018-05-02 22:48 大奥特曼打小怪兽 阅读(7868) 评论(0) 推荐(1) 编辑
摘要:随着科研人员在使用神经网络训练时不断的尝试,为我们留下了很多有用的技巧,合理的运用这些技巧可以使自己的模型得到更好的拟合效果。 一 利用异或数据集演示过拟合 全连接网络虽然在拟合问题上比较强大,但太强大的拟合效果也带来了其它的麻烦,这就是过拟合问题。 首先我们看一个例子,这次将原有的4个异或带护具扩 阅读全文
posted @ 2018-04-26 21:54 大奥特曼打小怪兽 阅读(5503) 评论(0) 推荐(0) 编辑
摘要:多层神经网络非常好理解,就是在输入和输出中间多加一些层,每一层可以加多个神经元。下面的例子是通过加入一个隐藏层后对异或数据进行分类。 一 异或数据集 所谓的"异或数据"是来源于异或操作,可以绘制在直角坐标系中,如下图所示: 我们可以看到这张图很难通过一个直线把这两类数据风格开来,但是我们可以通过类似 阅读全文
posted @ 2018-04-26 14:50 大奥特曼打小怪兽 阅读(1854) 评论(0) 推荐(1) 编辑
摘要:一般来说,回归不用在分类问题上,因为回归是连续型模型,而且受噪声影响比较大。如果非要应用进入,可以使用logistic回归。logistic回归本质上是线性回归,只是在特征到结果的映射中加入了一层函数映射,即先把特征线性求和,然后使用函数g(z)函数来预测。 下面介绍一个线性逻辑回归的案例,这里被用 阅读全文
posted @ 2018-04-25 20:39 大奥特曼打小怪兽 阅读(1154) 评论(0) 推荐(0) 编辑
摘要:由于随着神经网络层数的增多,需要训练的参数也会增多,随之而来需要的数据集就会很大,这样会造成需要更大的运算资源,而且还要消耗很长的运算时间。TensorFlow提供了一个可以分布式部署的模式,将一个训练任务拆分成多个小任务,配置到不同的计算机上完成协同运算,这样使用计算机群运算来代替单机运算,可以使 阅读全文
posted @ 2018-04-19 14:25 大奥特曼打小怪兽 阅读(6135) 评论(0) 推荐(0) 编辑
摘要:这一节主要来介绍TesorFlow的可视化工具TensorBoard,以及TensorFlow基础类型定义、函数操作,后面又介绍到了共享变量和图操作。 一 TesnorBoard可视化操作 TensorFlow提供了可视化操作工具TensorBoard。他可以将训练过程中的各种数据展示出来,包括标量 阅读全文
posted @ 2018-04-18 15:08 大奥特曼打小怪兽 阅读(1588) 评论(0) 推荐(0) 编辑
摘要:在我们使用TensorFlow的时候,有时候需要训练一个比较复杂的网络,比如后面的AlexNet,ResNet,GoogleNet等等,由于训练这些网络花费的时间比较长,因此我们需要保存模型的参数。 编程基础案例中主要讲解模型的保存和恢复,以及使用几个案例使我们更好的理解这一块内容。 一 保存和载入 阅读全文
posted @ 2018-04-17 22:14 大奥特曼打小怪兽 阅读(3228) 评论(1) 推荐(1) 编辑
摘要:在第一节中我们已经介绍了一些TensorFlow的编程技巧;第一节,TensorFlow基本用法,但是内容过于偏少,对于TensorFlow的讲解并不多,这一节对之前的内容进行补充,并更加深入了解讲解TensorFlow. TesorFlow的命名来源于本身的运行原理。Tensor(张量)意味着N维 阅读全文
posted @ 2018-04-17 20:54 大奥特曼打小怪兽 阅读(18800) 评论(0) 推荐(2) 编辑
摘要:最近在网上也看了不少相关深度学习的视频,大部分都在讲解原理,对代码的实现讲解较少,为此苦苦寻找一本实战的书籍,黄天不负有心人,终于找到一本很好的书籍,<深度学习之TensorFlow入门、原理与进阶实战>,作者是李金洪。在这里就记录一下我的学习之路,也希望对和我一样在学习深度学习路上迷茫的同学有一定 阅读全文
posted @ 2018-04-17 16:49 大奥特曼打小怪兽 阅读(992) 评论(0) 推荐(0) 编辑
摘要:上一节,我们已经讲解了使用全连接网络实现手写数字识别,其正确率大概能达到98%,这一节我们使用卷积神经网络来实现手写数字识别, 其准确率可以超过99%,程序主要包括以下几块内容 [1]: 导入数据,即测试集和验证集 [2]: 引入 tensorflow 启动InteractiveSession(比s 阅读全文
posted @ 2018-04-02 21:51 大奥特曼打小怪兽 阅读(8099) 评论(0) 推荐(2) 编辑

如果有任何技术小问题,欢迎大家交流沟通,共同进步

公告 & 打赏

>>

欢迎打赏支持我 ^_^

最新公告

程序项目代做,有需求私信(小程序、网站、爬虫、电路板设计、驱动、应用程序开发、毕设疑难问题处理等)。

了解更多

点击右上角即可分享
微信分享提示