tensorflow学习笔记一
安装
pip3 install tensorflow
或者源码编译安装，源码编译安装的方式能充分利用CPU的计算性能，这是和pip安装的一点不同。pip安装运行的时候会有警告,解决办法如下
import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
张量tensor
张量是tensorflow中的名词，代表的是数据。张量是在我们熟悉的标量、向量之上定义的，详细的定义比较复杂，我们可以先简单的将它理解为一个多维数组。说的更明白一点，张量就是tensorflow中的基本数据格式，是一个类型化的N维度数组（tf.Tensor），这种类型包含三部分：名字，形状，数据类型
tensor的阶
tensor的数据类型
tensor对象的属性
- graph：张量所属的默认图
- op：张量的操作名
- name：张量的字符串描述
- shape：张量形状
对其中的op和graph做一点说明：因为op是接收tensor返回tensor的操作，所以一个tensor就有对应的op。tensorflow的编程方式其实就是在画图，定义的tensor就在这张图里面，所以tensor有图属性
张量的形状改变
一个张量既然是可以看做是多维数组，那么数组就设计到形状的改变，在tensorflow中tensor具有两种形状，静态形状和动态形状
静态形状
创建一个张量或者由操作推导出一个张量时,初始状态的形状
- tf.Tensor.get_shape:获取静态形状
- tf.Tensor.set_shape():更新Tensor对象的静态形状，通常用于在不能直接推断的情况下
动态形状
一种描述原始张量在执行过程中的一种形状
- tf.reshape:创建一个具有不同动态形状的新张量
静态形状和动态形状的区别就是原tensor对象是否发生改变。通过上述API的调用者就能看出不同。
转换要点
1、转换静态形状的时候，1-D到1-D，2-D到2-D，不能跨阶数改变形状
2、 对于已经固定或者设置静态形状的张量／变量，不能再次设置静态形状
3、tf.reshape()动态创建新张量时，元素个数不能不匹配,但是能改变阶数
In [2]: plt = tf.placeholder(tf.float32,[None,2])
In [3]: plt.set_shape([100,2])
In [4]: plt.get_shape()
Out[4]: TensorShape([Dimension(100), Dimension(2)])
生成张量
固定值张量
随机张量
tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
从正态分布中输出随机值，然后组成矩阵
提供给tensor的运行函数 https://images2018.cnblogs.com/blog/1112571/201807/1112571-20180723144733413-1002665134.png
数据流图
数据流是一种常用的并行计算编程模型，数据流图是由节点(nodes)和线(edges)构成的有向图：
- 节点(nodes) 表示计算单元，也可以是输入的起点或者输出的终点
- 线(edges) 表示节点之间的输入/输出关系
在 TensorFlow 中，每个节点都是用 tf.Tensor的实例来表示的，即每个节点的输入、输出都是Tensor，如下图中 Tensor 在 Graph 中的流动，形象的展示 TensorFlow 名字的由来
tensorflow = tensor + flow
变量
变量也是一种OP，是一种特殊的张量，能够进行存储持久化，可以修改里面的值，它的值就是张量
tf.Variable(initial_value=None,name=None) 创建一个带值initial_value的新变量，name属性表示变量名字
tf.variable.assign(value) 为变量分配一个新值，返回新值
tf.variable.eval(session=None) 计算并返回此变量的值
定义变量需要注意的一点：添加一个初始化所有变量的op tf.global_variables_initializer() 在会话中开启
图
在我们tensorflow中，图是核心，如同我们在建造浩大工程的时候需要先设计图纸一样。tensorflow的程序就可以看做是"一张图纸"，而这张图纸可以看做是计算机中的一块内存。我们编写的tensorflow的程序中图默认已经注册，一组表示 tf.Operation计算单位的对象和tf.Tensor表示操作之间流动的数据单元的对象，当然我们也可以自己创建一块内存空间，也就是自己创建一张图
获取调用：tf.get_default_graph()；op、sess或者tensor 的graph属性
g = tf.Graph()
with g.as_default():
# 在这块图(内存)中定义变量
a = tf.constant(1.0)
op
所有的tensorflow的API都可以看做是op
会话
会话是用来运行TensorFlow操作图的类，使用默认注册的图（可以指定运行图），会话可能拥有很多资源，如 tf.Variable，tf.QueueBase和tf.ReaderBase，会话结束后需要进行资源释放
在ipython中的交互式 tf.InteractiveSession()
run(fetches, feed_dict=None,graph=None) 运行ops和计算tensor
fetches:
嵌套列表，元组，
namedtuple，dict或OrderedDict(重载的运算符也能运行)
feed_dict 允许调用者覆盖图中指定张量的值,提供给
placeholder使用
返回值异常
RuntimeError：如果它Session处于无效状态（例如已关闭）。
TypeError：如果fetches或feed_dict键是不合适的类型。
ValueError：如果fetches或feed_dict键无效或引用 Tensor不存在。
a = tf.constant(1)
b = tf.constant(2)
c = 3
# 原本tensorflow中的加法借助api:add，现在用 + , + 被重载了
s1 = tf.add(a,b)
s2 = a + c
plt = tf.placeholder(tf.float32, [None, 2])
with tf.Session() as sess:
print(sess.run(plt, feed_dict={plt:[[1,3], [2,4]]}))
可视化学习Tensorboard
- 数据序列化-events文件
TensorBoard 通过读取 TensorFlow 的事件文件来运行 - tf.summary.FileWriter('/tmp/tensorflow/summary/test/', graph=default_graph)
返回filewriter,写入事件文件到指定目录(最好用绝对路径)，以提供给tensorboard使用 - 开启
tensorboard --logdir=/tmp/tensorflow/summary/test/
一般浏览器打开为127.0.0.1:6006
注：修改程序后，再保存一遍会有新的事件文件，打开默认为最新
增加变量显示
目的：在Tensorboard中观察模型的参数、损失值等变量值的变化。本质就是把变量的值合并到event文件中
分两步
收集变量
tf.summary.scalar(name=’’,tensor) 收集对于损失函数和准确率等<font color=;red'>单值变量,name为变量的名字，tensor为值
tf.summary.histogram(name=‘’,tensor) 收集<font color=;red'>高维度的变量参数
合并
merged = tf.summary.merge_all()
运行合并：summary = sess.run(merged)，每次迭代都需运行
添加：FileWriter.add_summary(summary,i),i表示第几次的值
用tensorflow执行线性回归
import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
tf.app.flags.DEFINE_integer("max_step", 100, "模型训练的步数")
tf.app.flags.DEFINE_integer("model_dir", '', "模型存储目录")
FLAGS = tf.app.flags.FLAGS
def myregression():
# 数据
x = tf.random_normal([100, 1], mean=1.7, stddev=0.5, name='x_data')
y_true = tf.matmul(x, [[0.7]]) + 0.5
# 权重和偏置
weight = tf.Variable(tf.random_normal([1, 1], mean=0, stddev=0.5), name='weight')
bias = tf.Variable(1.0, name='bias')
# 预测值
y_predict = tf.matmul(x, weight) + bias
# 均方误差，得到的是确定的值，不是一个tensor
loss = tf.reduce_mean(tf.square(y_true - y_predict))
tf.summary.scalar('losser', loss)
tf.summary.histogram('weight', weight)
merged = tf.summary.merge_all()
# 0.1 是学习率，通过一次梯度下降得到新的weight bias
train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
init_op = tf.global_variables_initializer()
# 模型储存
saver = tf.train.Saver(max_to_keep=10)
with tf.Session() as sess:
sess.run(init_op)
filewriter = tf.summary.FileWriter("./tmp/", graph=sess.graph)
if os.path.exists('./tmp/ckpt/checkpoint'):
saver.restore(sess, './tmp/ckpt/')
# 根据学习率梯度下降500次，得到weight和bias
for i in range(500):
sess.run(train_op)
# 这里用%f, 可以把一阶的数据转为单值显示
print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i, weight.eval(), bias.eval()))
summary = sess.run(merged)
filewriter.add_summary(summary, i)
saver.save(sess, './tmp/ckpt/')
if __name__ == '__main__':
myregression()
加了作用域之后
# !/usr/bin/env python
# -*- coding:utf-8 -*-
import tensorflow as tf
import os
tf.app.flags.DEFINE_integer("max_step", 100, "模型训练的步数")
tf.app.flags.DEFINE_string("model_dir", " ", "模型文件的加载的路径")
# 定义获取命令行参数名字
FLAGS = tf.app.flags.FLAGS
def myregression():
"""
自实现一个线性回归预测
:return: None
"""
with tf.variable_scope("data"):
# 1、准备数据，x 特征值 [100, 1] y 目标值[100]
x = tf.random_normal([100, 1], mean=1.75, stddev=0.5, name="x_data")
# 矩阵相乘必须是二维的
y_true = tf.matmul(x, [[0.7]]) + 0.8
with tf.variable_scope("model"):
# 2、建立线性回归模型 1个特征，1个权重， 一个偏置 y = x w + b
# 随机给一个权重和偏置的值，让他去计算损失，然后再当前状态下优化
# 用变量定义才能优化
# trainable参数：指定这个变量能跟着梯度下降一起优化
weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="w")
bias = tf.Variable(0.0, name="b")
y_predict = tf.matmul(x, weight) + bias
with tf.variable_scope("loss"):
# 3、建立损失函数，均方误差
loss = tf.reduce_mean(tf.square(y_true - y_predict))
with tf.variable_scope("optimizer"):
# 4、梯度下降优化损失 leaning_rate: 0 ~ 1, 2, 3,5, 7, 10
train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
# 1、收集tensor
tf.summary.scalar("losses", loss)
tf.summary.histogram("weights", weight)
# 定义合并tensor的op
merged = tf.summary.merge_all()
# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()
# 定义一个保存模型的实例
saver = tf.train.Saver()
# 通过会话运行程序
with tf.Session() as sess:
# 初始化变量
sess.run(init_op)
# 打印随机最先初始化的权重和偏置
print("随机初始化的参数权重为：%f, 偏置为：%f" % (weight.eval(), bias.eval()))
# 建立事件文件
filewriter = tf.summary.FileWriter("./tmp/", graph=sess.graph)
# 加载模型，覆盖模型当中随机定义的参数，从上次训练的参数结果开始
if os.path.exists("./tmp/ckpt/checkpoint"):
saver.restore(sess, FLAGS.model_dir)
# 循环训练 运行优化
for i in range(FLAGS.max_step):
sess.run(train_op)
# 运行合并的tensor
summary = sess.run(merged)
filewriter.add_summary(summary, i)
print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i, weight.eval(), bias.eval()))
saver.save(sess, FLAGS.model_dir)
return None
if __name__ == "__main__":
myregression()
运行：python3 luhn.py --max_step=500 --model_dir='tmp/ckpt/'
