摘要:
1.简介 TensorFlow可以很容易地利用单个GPU加速深度学习模型的训练过程,但要利用更多的GPU或者机器,需要了解如何并行化训练深度学习模型。常用的并行化深度学习模型训练方式有两种,同步模式和异步模式。 2.两种模式的区别 为帮助读者理解这两种训练模式,首先简单回顾一下如何训练深度学习模型。 阅读全文
摘要:
Tensorborad--> 是Tensorflow的可视化工具,它可以通过Tensorflow程序运行过程中输出的日志文件可视化Tensorflow程序的运行状态。Tensorflow和Tensorborad程序跑在不同的进程中,Tensorboard会自动读取最新的Tensorflow日志文件, 阅读全文
摘要:
本章主要介绍循环神经网络(recurrent neuralnetwork,RNN)和长短时记忆网络(long short-term memory,LSTM) 一. RNN简介 1.背景 循环神经网络挖掘数据中的时序信息以及语义信息的深度表达能力别充分利用,并在语音识别、语言模型、机器翻译以及时序分析 阅读全文
摘要:
编写代码用TFRecord数据结构存储数据集信息是报错:ValueError: Protocol message Feature has no "feature" field.或和这个错误非常类似的错误。 请检查 里面有没有单子写错。如果有一个单词写错都会报和上面类似的错误 阅读全文
摘要:
问题原因: tensorflow提供了tensorflow.exapmles.tutorials.mnist.input_data模块下载mnist数据集。代码如下 如果path路径底下没有mnist数据集,那么就会自己给你下载到path目录。 但是执行时报了个错: 访问超时了,我们可以进到源码里面 阅读全文
摘要:
前面我们用全量mnist数据集测试的准确率大概在75%左右,当然是没有经过改进之前的测试。 而我们用少量mnist数据集测试的准确率只有60%左右。两个的区别在于mnist训练数据集的大小,如果我们在全量数据集的基础上在增加新的图片会不会提高准确率呢。下面我们试下通过旋转已知图片的方法看准确率是否有 阅读全文
摘要:
前面讲的都是前向传播,已知输入层数据,计算出输出层结果。如果我们已知输出层结果是否可以反向推理出图片的像素值呢。在前面的神经网络基础上面进行修改。 1.训练 训练神经网络和前面讲的一样。 2.定义反向查询函数 1.>定义反向激活函数。利用logit函数 2.>利用已知结果得到激活之前的输出值,在通过 阅读全文
摘要:
前两章讲了搭建简单的三层神经网络和用三层神经网络识别mnist数据集。识别mnist数据集时有人已经把数字整理成像素值,我们只需要把像素值的大小调整下就可以当做输入值传入神经网络中,但是如果给我们一张未知的数字图片,我们该怎么得到图片的像素值呢,怎么识别这个未知的数字图片呢。 1.制作数字图片 参考 阅读全文
摘要:
一.MINIST数据集下载 1.https://pjreddie.com/projects/mnist-in-csv/ 此网站提供了mnist_train.csv和mnist_test.csv,其中mnist_train.csv有60000个训练数据,mnist_test.csv有10000个测试数 阅读全文
摘要:
上面我们说了神经网络的基础知识,根据上章的基础尝试搭建一个标准的3层神经网络,参考https://www.cnblogs.com/bestExpert/p/9128645.html 1.框架代码 1.>初始化函数 — 设定输入层节点、隐藏层节点、输出层节点的数量,设置学习率和各层的权重 2.>训练 阅读全文