Python之TensorFlow的变量收集、自定义命令参数、矩阵运算、梯度下降-4
一、TensorFlow为什么要存在变量收集的过程，主要目的就是把训练过程中的数据，比如loss、权重、偏置等数据通过图形展示的方式呈现在开发者的眼前。
自定义参数：自定义参数，主要是通过Python去执行，然后传入对应的参数。常见的有路径、训练次数等。
梯度下降：这个应该是最常见的训练手段了，在监督学习中，基本上都是采用这种方式，所以了解其中的使用过程还是很多必要的。
二、变量收集
tf.summary.scalar(<name>, <tensor>)：通过标量的方式来统计数据（简单一点有点像曲线图的方式，一般用于loss、accuary的收集）
tf.summary.histogram(<name>, <values>)：直方图的形式展示、一般用于高纬度的数据收集。
merged = tf.summary.merge_all()：合并数据，返回收集到的数据
summary = sess.run(merged)：运行收集到数据
file_write = tf.summary.FileWriter(<logdir>,<graph=None>)：记录收集数据的writer
file_write.add_summary(<summary>, <global_step=None>)：写入收集的数据，global_step为每一步长
三、自定义命令参数
1）首先声明需要传入的参数
tf.flags.DEFINE_integer("max_step", 2000, "最大训练次数") FLAGS = tf.flags.FLAGS
注意：这里的数据类型，可以自己更具需要传入
tf.flags.DEFINE_integer(<name>, <default_value>, <desc>) tf.flags.DEFINE_string(<name>, <default_value>, <desc>)
2）替换需要手动传入的部分
for i in range(FLAGS.max_step)：
获取参数： 定义： FLAGS = tf.flags.FLAGS 获取： FLAGS.<name>
3）通过Python的方式去执行*.py文件，带入参数
python <py_name> --<name>=<value>
四、矩阵运算
矩阵运算：
乘法：tf.matmul(x, y)
平方：tf.square(error)
均值：tf.reduce_mean(error)
说明：矩阵运算，这里只是一少部分，实际开发中用到的需要自行查阅
五、梯度下降
线性回归步骤： 1、准备特征数据和目标值 2、建立模型 y = wx + b,主要求解w,b的值 3、计算损失值：误差loss均方误差（y1-y1'）^2 + ... + (yn - yn')^2 / n 其中：yn为特征值矩阵，yn'为平均值矩阵 4、梯度下降，优化损失过程，需要指定学习率 梯度下降： tf.train.GradientDescentOptimizer(learning_rate) method: minimize(loss) return: 梯度下降op 学习率： 如果学习率过大会出现梯度消失/梯度爆炸导致NaN 优化： 1、重新设计网络 2、调整学习率 3、使用梯度截断 4、使用激活函数
六、代码演示
import os import tensorflow as tf # tf.flags.DEFINE_integer("max_step", 2000, "最大训练次数") # # FLAGS = tf.flags.FLAGS def tensorflow_linear_regression(): with tf.variable_scope("data"): # 1、准备特征值和目标值 x = tf.random_normal([100, 1], mean=1.75, stddev=0.5, name="x") # 矩阵相乘必须是二维(为了模拟效果而设定固定值来训练) y_true = tf.matmul(x, [[0.7]]) + 0.8 with tf.variable_scope("model"): # 2、建立回归模型，随机给权重值和偏置的值，让他去计算损失，然后在当前状态下优化 # 模型 y = wx + b, w的个数根据特征数据而定，b随机 # 其中Variable的参数trainable可以指定变量是否跟着梯度下降一起优化(默认True) w = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="w", trainable=True) b = tf.Variable(0.0, name="b") # 预测值 y_predict = tf.matmul(x, w) + b with tf.variable_scope("loss"): # 3、建立损失函数，均方误差 loss = tf.reduce_mean(tf.square(y_true - y_predict)) with tf.variable_scope("optimizer"): # 4、梯度下降优化损失 # 学习率的控制非常重要，如果过大会出现梯度消失/梯度爆炸导致NaN train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss) # 1）收集变量 tf.summary.scalar("losses", loss) tf.summary.histogram("ws", w) # 2）合并变量 merged = tf.summary.merge_all() tf.add_to_collection("y_predict", y_predict) # 定义一个初始化变量的op init_op = tf.global_variables_initializer() # 定义保存模型 saver = tf.train.Saver() # 通过绘画运行程序 with tf.Session() as sess: sess.run(init_op) print("运行前，权重值：%f, 偏置：%f" % (w.eval(), b.eval())) file_write = tf.summary.FileWriter("tmp/summary/regression", sess.graph) # 加载上次训练的模型结果 if os.path.exists("model/checkpoint/checkpoint"): saver.restore(sess, "model/checkpoint/model") # 循环训练 for i in range(2000): # python tensorflow_linear_regression_demo.py --max_step=1000 # for i in range(FLAGS.max_step): sess.run(train_op) print("运行 %d 后，权重值：%f, 偏置：%f" % (i + 1, w.eval(), b.eval())) # 运行合并后的数据 summary = sess.run(merged) file_write.add_summary(summary, i) # 保存模型 if (i + 1) % 100 == 0: saver.save(sess, "model/checkpoint/model")
