机器学习笔记4-Tensorflow线性模型示例及TensorBoard的使用

前言

在上一篇中，我简单介绍了一下Tensorflow以及在本机及阿里云的PAI平台上跑通第一个示例的步骤。在本篇中我将稍微讲解一下几个基本概念以及Tensorflow的基础语法。

本文代码都是基于API版本r1.4。本文中本地开发环境为Pycharm，在文中不再赘述。

名词解释

核心概念

和很多开发语言设计一样，Tensorflow提供了多个级别的客户端API，其中最底层叫Tensorflow Core，使用这一层API可以完全控制Tensorflow，但是使用难度上也相对较大。在Tensorflow Core之上创建的更高级别的API，对开发者更友好，更易于使用、学习起来也更简单。

Tensorflow中该数据的核心单位是张量（Tensor），张量就是将一组基础数值，组织成形态（Shape）为一个任意维度的数组，张量的阶（Rank）就是维度的数量。概念还是挺拗口的，举个例子就非常明了了：

[1., 2., 3.] # Rank=1， Shape=[3]
[[1., 2., 3.], [4., 5., 6.]] # Rank=2； Shape=[2, 3]： 代表第一层数组里包含2个子数组，每个子数组里包含3个值
[[[1., 2., 3.]], [[7., 8., 9.]]] # Rank=3； Shape=[2, 1, 3] ： 代表第一层数组里包含2个数组，每个子数组里又包含1个子数组，子数组里包含3个元素

Tensorflow其实就是针对张量的计算图，计算图中的每个节点（Node）之间是有向连接的，看起来像张量的流动图（即从输入开始，流过一系列的节点，最终输出结果），Tensorflow也由此得名。官方原话是：

What is a Data Flow Graph?
Data flow graphs describe mathematical computation with a directed graph of nodes & edges. Nodes typically implement mathematical operations, but can also represent endpoints to feed in data, push out results, or read/write persistent variables. Edges describe the input/output relationships between nodes. These data edges carry dynamically-sized multidimensional data arrays, or tensors. The flow of tensors through the graph is where TensorFlow gets its name. Nodes are assigned to computational devices and execute asynchronously and in parallel once all the tensors on their incoming edges becomes available.

基础语法

Tensorflow Core编程，有点像画设计稿（构建流图）->按图施工（执行流图）这样的过程，执行流图必须使用tf.run()方法。计算图中的节点将接受0-N个张量作为输入值并产生一个输出值。在我的理解中，节点可以分为数值型和运算型两种。

数值型

Constant

常量是一种没有输入，只有一个输出值的节点，常量在定义的时候就将其值存储在Tensorflow内部了，一旦定义则无法修改其值。

示例代码：

# 定义常量c1，并将其数值类型定义为tf.float32，默认值为1.0
c1 = tf.constant(1., dtype=tf.float32)
# 定义常量c2，并将其数值类型定义为tf.float32，默认值为2.0
c2 = tf.constant(2., dtype=tf.float32)

# 执行流图： c1 + c2
with tf.Session() as sess:
    print(sess.run(tf.add(c1, c2)))

Placeholder

占位符也是数值型节点的一种定义方式，占位符是一种Promise，就是承诺在执行tf.run()的时候一定会在参数feed_dict中提供其值。相比常量，占位符更像是一种参数，使用起来更灵活。

用占位符改写上面的示例代码如下：

# 定义占位值p1，并将其数值类型定义为tf.float32
p1 = tf.placeholder(tf.float32)
# 定义占位值p2，并将其数值类型定义为tf.float32
p2 = tf.placeholder(tf.float32)

# 执行流图： p1 + p2
with tf.Session() as sess:
    # 既然承诺过，因此在run的时候必须提供p1,p2的值，否则代码将报错
    print(sess.run(tf.add(p1, p2), {p1: 1., p2: 2.}))

Variable

比起占位符，变量就更灵活了，可以随时赋值，这样就可以将某些节点的输出值赋值到指定的变量中，以便后续节点使用。这种模式在机器学习中是非常必要的，因为机器学习就是一个调参的过程，在运行的时候就希望能随时改变某些值以达到预期。

变量在使用的时候需要注意的是，在执行tf.run()方法之前，必须将变量进行初始化，初始化语句是：

init = tf.global_variables_initializer()
sess.run(init)

依旧是上述代码用变量改写：

# 定义变量v1，并将其数值类型定义为tf.float32，默认值为1.0
v1 = tf.Variable(1., tf.float32)
# 定义变量v2，并将其数值类型定义为tf.float32，默认值为1.0
v2 = tf.Variable(2., tf.float32)

with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    print(sess.run(tf.add(v1, v2)))

运算型

其实上面的代码中已经用到了加法tf.add()方法，减法是tf.subtract()，乘法是tf.multiply()，除法是tf.divide()等等。所有的方法可以在官方API文档中找到：https://www.tensorflow.org/api_docs/python/tf，这里就不赘述了。

TensorBoard

这里再简单介绍下Tensorflow自带的非常强大的可视化工具TensorBoard，TensorBoard完全可以单独写一篇博文，本文先抛砖引玉，主要是为了直观的展示上述代码产生的图。

最简单的TensorBoard的使用方法如下：

# 保存计算图
with tf.summary.FileWriter(logdir='logs', graph=tf.get_default_graph()) as writer:
    writer.flush()

执行上述代码之后，Tensorflow会将生成图所需的数据序列化到本地文件中，我指定了生成到当前同级目录logs中，生成成功之后，可以在PyCharm的控制台（使用快捷键ALT+F12可调出）中输入：

tensorboard --logdir=logs

等待几秒钟之后，控制台输出类似于如下内容则表示TensorBoard已经启动成功：

TensorBoard 0.4.0rc3 at http://localhost:6006 (Press CTRL+C to quit)

在本地浏览器（推荐使用Chrome）地址栏中，输入http://localhost:6006打开TensorBoard，大致效果如下：

复杂点的示例——线性模型

真正的机器学习过程中，我们当然是不知道变量的，我们真正的目的就是去习得这些变量，以达到模型能够尽可能准确预测样本的期望，也就是所谓的损失（loss）最小化。Tensorflow提供了优化器（optimizers）来做这个工作。最简单的优化器算法叫梯度下降，这是在线性模型中最常用的一种优化算法。优化器底层会调用Tensorflow Core中的tf.gradients方法来实现梯度下降。

如上图所示，假设现在已知4个蓝色的点(1,0)，(2,-1)，(3,-2)，(4,-3)，我们需要推导出代表红色直线的系数W和b（公式为y = Wx + b），当然这个例子很简单，用肉眼看一下就知道W=-1，b=1，用Tensorflow实现的完整代码如下：

import tensorflow as tf

# y = Wx + b， 初始化的时候随便定义一个初始值
W = tf.Variable([.3], dtype=tf.float32)
b = tf.Variable([-.3], dtype=tf.float32)
# 输入值 x， 定义为占位符， 便于在学习过程中换成不同的值
x = tf.placeholder(tf.float32)
# 定义线性模型
linear_model = W*x + b
# 输出值 y， 定义为占位符， 便于在学习过程中换成不同的值
y = tf.placeholder(tf.float32)

# 损失loss，线性模型中以欧式距离来衡量损失值
loss = tf.reduce_sum(tf.square(linear_model - y))
# 定义优化器optimizer
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)

# 4个蓝色点的训练数据，分解成x和y的数组为
x_train = [1, 2, 3, 4]
y_train = [0, -1, -2, -3]

# 初始化Session
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)

# 循环1000次，训练模型
for i in range(1000):
  sess.run(train, {x: x_train, y: y_train})

# 评估准确率
curr_W, curr_b, curr_loss = sess.run([W, b, loss], {x: x_train, y: y_train})
print("W: %s b: %s loss: %s"%(curr_W, curr_b, curr_loss))

# 保存计算图
with tf.summary.FileWriter(logdir='logs_linear_regression', graph=tf.get_default_graph()) as writer:
    writer.flush()

我本机的输出结果为：

W: [-0.9999969] b: [ 0.99999082] loss: 5.69997e-11

W的值无限接近-1，b的值无限接近1，而loss无限接近0，这个就是我们设计的函数y=-x+1。

在TensorBoard中查看结果如图所示：

这个图就看起来就比较像这么回事了。

在阿里云PAI上运行

本系列教程我尽量在阿里云的PAI平台上也运行一次，虽然目前公测阶段还是有很多问题，但是也是让很多人对机器学习变得触手可及的一种非常好的方案。

上一篇中，我用web版的OSS管理工具上传了源代码文件，本用例将使用OSS Browser客户端上传和管理文件，下载地址在阿里云后台如下位置：

下载客户端的同时，可以开通阿里云的Access Key（用来登录OSS Browser），开通位置如下：

开通之后，在管理界面看到如下内容：

打开并解压缩刚才下载的OSS Browser，双击打开oss-browser.exe文件，使用刚才开通的Access Key登录：

我依旧在上一篇相同的目录oss://danielfu-oss-tf-test/tensorflowtest/下，创建了一个放summary文件夹，并上传了代码文件tensorflow-demo2.py：

在阿里云上使用Tensorflow需要将上述的demo示例代码进行少量的改造，格式基本也都是固定的，改造完之后的完整代码如下：

# 指定文件的编码格式，这个不加在PAI里运行会报错
#!/usr/bin/python
# -*-coding:utf-8 -*-

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import sys
import argparse

import tensorflow as tf

# 定义FLAGS用来传递全局参数
FLAGS = None


def main(_):
    # y = Wx + b， 初始化的时候随便定义一个初始值
    W = tf.Variable([.3], dtype=tf.float32)
    b = tf.Variable([-.3], dtype=tf.float32)
    # 输入值 x， 定义为占位符， 便于在学习过程中换成不同的值
    x = tf.placeholder(tf.float32)
    # 定义线性模型
    linear_model = tf.multiply(W, x) + b
    # 输出值 y， 定义为占位符， 便于在学习过程中换成不同的值
    y = tf.placeholder(tf.float32)

    # 损失loss，线性模型中以欧式距离来衡量损失值
    loss = tf.reduce_sum(tf.square(linear_model - y))
    # 定义优化器optimizer
    optimizer = tf.train.GradientDescentOptimizer(0.01)
    train = optimizer.minimize(loss)

    # 4个蓝色点的训练数据，分解成x和y的数组为
    x_train = [1, 2, 3, 4]
    y_train = [0, -1, -2, -3]

    # 初始化Session
    init = tf.global_variables_initializer()
    with tf.Session() as sess:
        sess.run(init)

        # 循环1000次，训练模型
        for i in range(1000):
            sess.run(train, {x: x_train, y: y_train})

        # 评估准确率
        curr_W, curr_b, curr_loss = sess.run([W, b, loss], {x: x_train, y: y_train})
        print("W: %s b: %s loss: %s" % (curr_W, curr_b, curr_loss))

        # 保存计算图
        with tf.summary.FileWriter(FLAGS.summaryDir + 'train', sess.graph) as writer:
            writer.flush()


# 在运行main程序的时候，将参数传入执行代码中
# 本例中就指定了summaryDir参数
if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--summaryDir', type=str, default='',
                        help='Summaries log directory')
    FLAGS, unparsed = parser.parse_known_args()
    tf.app.run(main=main)

在PAI中，下图中1的位置指定为tensorflow-demo2.py文件，2的位置指定为summary目录，然后点击3处的按钮：