tensorflow实现线性回归、以及模型保存与加载

内容：包含tensorflow变量作用域、tensorboard收集、模型保存与加载、自定义命令行参数

1、知识点

"""
1、训练过程：
        1、准备好特征和目标值
        2、建立模型，随机初始化权重和偏置; 模型的参数必须要使用变量
        3、求损失函数，误差为均方误差
        4、梯度下降去优化损失过程，指定学习率
   
2、Tensorflow运算API:
        1、矩阵运算：tf.matmul(x,w)
        2、平方：tf.square(error)
        3、均值：tf.reduce_mean(error) 
        4、梯度下降API: tf.train.tf.train.GradientDescentOptimizer(learning_rate)
                learning_rate:学习率
                minimize(lose):优化最小损失
                return:梯度下降op
3、注意项：
        1、tf.Variable()中的trainable表示为变量在训练过程可变
        2、学习率设置很大时，可能会出现权重和偏置为NAN,这种现象表现叫梯度爆炸
                解决方法：1、重新设计网络 2、调整学习率 3、使用梯度截断 4、使用激活函数

4、变量作用域:主要用于tensorboard查看，同时使代码更加清晰  with tf.variable_scope("data"):

5、添加权重、参数、损失值等在tensoroard观察的情况：
        1、收集tensor变量 tf.summary.scalar('losses', loss)、tf.summary.histogram('weight',weight)
        2、合并变量并写入事件文件：merged = tf.summary.merge_all() 
        3、运行合并的tensor：summary = sess.run(merged)、fileWriter.add_summary(summary,i)

6、模型保存与加载： tf.train.Saver(var_list=None,max_to_keep=5)
        var_list:指定将要保存和还原的变量。它可以作为一个dict或一个列表传递.
        max_to_keep：指示要保留的最近检查点文件的最大数量。
        创建新文件时，会删除较旧的文件。如果无或0，则保留所有
        检查点文件。默认为5（即保留最新的5个检查点文件。
        a）例如：saver.save(sess, '/tmp/ckpt/test/model')
            saver.restore(sess, '/tmp/ckpt/test/model')
            保存文件格式：checkpoint文件
            
        b）模型加载:
            if os.path.exists('./ckpt/checkpoint'):
                saver.restore(sess,'./ckpt/model')
                
7、自定义命令行参数：
    1、首先定义有哪些参数需要在运行时候指定
    2、程序当中获取定义命令行参数
    3、运行 python *.py --max_step=500 --model_dir='./ckpt/model' 
    本例执行命令：python tensorflow实现线性回归.py --max_step=50 --model_dir="./ckpt/model"

"""

2、代码

# coding = utf-8
import tensorflow as tf
import  os

#自定义命令行参数
tf.app.flags.DEFINE_integer("max_step",100,"模型训练的步数")
tf.app.flags.DEFINE_string("model_dir"," ","模型文件加载路径")
#定义获取命令行参数名字
FLAGS = tf.app.flags.FLAGS
def myLinear():
    """
    自实现一个线性回归预测
    :return:
    """
    #定义作用域
    with tf.variable_scope("data"):
        #1、准备数据,特征值
        x = tf.random_normal([100,1],mean=1.75,stddev=0.5)
        #目标值。矩阵相乘，必须是二维的
        y_true = tf.matmul(x,[[0.7]])+0.8

    with tf.variable_scope("model"):
        #2、建立线性模型 y = wx+b ,随机给定w和b的值,必须定义成变量
        weight = tf.Variable(tf.random_normal([1,1],mean=0.0,stddev=1.0,name="w"))
        bias = tf.Variable(0.0,name="b")
        y_predict = tf.matmul(x,weight)+bias

    with tf.variable_scope("loss"):
        #3、建立损失函数，均方误差
        loss = tf.reduce_mean(tf.square(y_true-y_predict))
    with tf.variable_scope("optimizer"):
        #4、梯度下降优化损失
        train_op = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(loss)

##############模型保存################
    with tf.variable_scope("save_model"):
        saver = tf.train.Saver();

    # 初始化变量
    init_op = tf.global_variables_initializer()
####################收集变量#########################
    # 收集tensor变量
    tf.summary.scalar('losses', loss)
    tf.summary.histogram('weight',weight)

    #合并变量并写入事件文件
    merged = tf.summary.merge_all()
    #通过会话运行程序
    with tf.Session() as sess:
        #必须要运行初始化变量
        sess.run(init_op)

        #打印随机最先初始化的权重和偏置
        print("随机初始化的参数权重为：%f,偏置为：%f" % (weight.eval(),bias.eval()))
        # 建立事件文件
        fileWriter = tf.summary.FileWriter("./tmp", graph=sess.graph)

        ###########加载模型，覆盖之前的参数##############
        if os.path.exists('./ckpt/checkpoint'):
            #saver.restore(sess,'./ckpt/model')
            saver.restore(sess, FLAGS.model_dir)


        #循环优化
        for i in range(FLAGS.max_step):
            #运行优化
            sess.run(train_op)
            #运行合并的tensor
            summary = sess.run(merged)
            fileWriter.add_summary(summary,i)
            print("第%d次优化参数权重为：%f,偏置为：%f" % (i,weight.eval(), bias.eval()))
        ################模型保存##############
            # if i%1000==0:
            #     #saver.save(sess,'./ckpt/model')
            #     saver.save(sess,FLAGS.model_dir)
        saver.save(sess, FLAGS.model_dir)
    return None


if __name__ == '__main__':
    myLinear()