随笔分类 - tensorflow
摘要：使用TFLearn自定义模型：TFLearn集成在了tf.contirb.learn里 使用TFLearn解决iris分类问题: 预测正弦函数：
阅读全文
摘要：循环神经网络可以更好的利用传统神经网络结构所不能建模的信息，但同时也会出现——长期依赖问题（long-term dependencies） 例如，当前时刻的预测值要依赖之间时刻的信息，当两个时间间隔较短时，RNN可以比较容易地利用先前时刻信息。但当这两个时间间隔不断变长时，简单的循环神经网络有可能会
阅读全文
摘要：RNN网络的结构： 上图展示了一个简单的循环神经网络结构，在这个循环体中仅使用了一个类似全连接的神经网络结构。循环神经网络中的状态是通过一个向量来表示的，这个向量的维度称为循环神经网络隐藏层的大小，设其为h。从上图可以看出，循环体中的神经网络的输入包含两部分，一分部为上一时刻的状态，另一部分为当前时
阅读全文
摘要：mnist_inference.py： mnist_train.py：
阅读全文
摘要：使用前面介绍的技术，实践一个神经网络模型。将训练和测试分成两个独立的程序，训练网络的程序可以持续输出训练好的模型，测试程序可以每隔一段时间检验最新模型的正确率。 mnist_train.py mnist_eval.py:
阅读全文
摘要：tf.train.Saver类的使用 保存模型： 加载模型： 在加载模型时，也是先定义tensorflow计算图上的所有运算，但不需要运行变量的初始化，因为变量的值可以通过已经保存的模型加载进来。如果不希望重复定义图上的运算，也可以直接加载已经 持久化的图。 加载计算图： tf.train.Save
阅读全文
摘要：Tensorflow中提供了通过变量名称来创建和获取一个变量的机制。通过这个机制，在不同的函数中可以直接通过变量的名字来使用变量，而不需要将变量通过参数的形式到处传递。该机制主要是通过tf.get_variable和tf.variable_scope函数来实现的。下面将分别介绍两个函数的使用。 如果
阅读全文
摘要：MNIST数据集介绍： 一个完整的mnist手写数字识别程序：
阅读全文
摘要：指数衰减法： 公式代码如下： 变量含义： decayed_learning_rate：每一轮优化时使用的学习率 learning_rate：初始学习率 decay_rate：衰减系数 decay_steps：衰减速度，通常表示完整的使用一遍训练数据所需要的迭代论述（总训练样本数除以batch中的训练
阅读全文
摘要：交叉熵损失： 给定两个概率分布p和q，通过q来表示p的交叉熵为： 从上述公式可以看出交叉熵函数是不对称的，即H(p,q)不等于H（q,p)。 交叉熵刻画的是两个概率分布之间的距离，它表示通过概率分布q来表示概率分布p的困难程度。所以使用交叉熵作为 神经网络的损失函数时，p代表的是正确答案，q代表的是
阅读全文
摘要：tensorflow变量 在tensorflow中，变量(tf.Variable)的作用就是用来保存和更新神经网络中的参数，在声明变量的同时需要指定其初始值。 tensorflow中支持的随机数生成器： tensorflow也支持使用常数来初始化一个变量，常用的常量生成函数如下表 如下代码声明变量的
阅读全文
摘要：tensorflow中计算图的概念 tensorflow程序一般分为两个阶段： 1、定义计算图所有的计算 2、在session中执行计算 在tensorflow程序中，系统会自动维护一个默认的计算图，可以通过tf.get_default_graph()函数获取。以下代码展示了如何获取 默认计算图以及
阅读全文