机器学习概念_3
基于tensorflow搭建的神经网络(Netural Network, NN)模型
一、实现过程
- 准备数据集，提取特征，输入NN
- 搭建NN结构，从输入到输出(前向传播：先搭建计算图，再用会话执行)
- 大量特征输入NN，迭代优化NN参数(反向传播：优化参数)
- 使用训练好的模型预测和分类
二、张量(tensor)
- tf.constant：常量Tensor
- tf.Variable：变量Tensor
- tf.matmul 矩阵乘矩阵
- tf.multiply 矩阵中的对应元素各自相乘
- tf.truncated_normal(list, stddev, mean, seed) 去掉过大偏离点正态分布，stddev标准差，mean均值，seed随机种子
- tf.random_normal(list, stddev, mean, seed) 正态分布
- tf.random_uniform(list, stddev, mean, seed) 平均分布
- tf.zeros 全0数组
- tf.ones 全1数组
- tf.fill 全定值数组
| 维 | 阶 | 名称 | exp |
| 0 | 0 | 标量scalar | s = 123 |
| 1 | 1 | 向量vector | v = [1,2,3] |
| 2 | 2 | 矩阵matrix | m = [[1,2,3],[4,5,6]] |
| n | n | 张量tensor | t = [[[[.... |
import tensorflow as tf # tensor 常量 a = tf.constant([1.0, 2.0]) b = tf.constant([3.0, 4.0]) result = a + b # Tensor("add:0", shape=(2,), dtype=float32) # add：节点名称 # 0：第0个输出 # shape=(2, ) 1维数组，长度2(list元素个数) # dtype：数据类型 print(result)
会话tf.Session():变量初始化、计算图节点运算都要使用会话
with tf.Session() as sess: sess.run(X) # X表示变量初始化或者节点运算
初始化所有变量
init_op = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init_op)
用tf.placeholder占位，在sess.run()函数中使用feed_dict={}喂给数据
# 1组数据 x = tf.placeholder(tf.float32, shape=(1,2)) # 1代表数据的数量：1list，2代表list的元素个数 with tf.Session() as sess: sess.run(y, feed_dict={[[0.5, 0.6]]}) # 多组数据 x = tf.placeholder(tf.float32, shape=(None,2)) with tf.Session() as sess: sess.run(y, feed_dict={[[0.1,0.2],[0.3,0.4][0.5, 0.6]]})
# 两层简单的神经网络（全连接） import tensorflow as tf # 定义输入和参数（权重） x = tf.constant([[0.7, 0.5]]) w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1)) w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) # 定义前向传播过程 a = tf.matmul(x, w1) y = tf.matmul(a, w2) # 会话计算节点 with tf.Session() as sess: init_op = tf.global_variables_initializer() sess.run(init_op) print(sess.run(y))
# 两层简单的神经网络（全连接） import tensorflow as tf # 定义输入和参数（权重） # 用placeholder实现输入定义:1组数据 x = tf.placeholder(tf.float32, shape=(1, 2)) w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1)) w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) # 定义前向传播过程 a = tf.matmul(x, w1) y = tf.matmul(a, w2) # 会话计算节点 with tf.Session() as sess: init_op = tf.global_variables_initializer() sess.run(init_op) print(sess.run(y, feed_dict={x: [[0.7, 0.5]]}))
# 两层简单的神经网络（全连接） import tensorflow as tf # 定义输入和参数（权重） # 用placeholder实现输入定义:多组数据 x = tf.placeholder(tf.float32, shape=(None, 2)) w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1)) w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) # 定义前向传播过程 a = tf.matmul(x, w1) y = tf.matmul(a, w2) # 会话计算节点 with tf.Session() as sess: init_op = tf.global_variables_initializer() sess.run(init_op) print(sess.run(y, feed_dict={x: [[0.7, 0.5], [0.2, 0.3], [0.3, 0.4], [0.4, 0.5]]}))
反向传播
训练模型参数，在梯度下降使NN模型在训练数据上的损失函数最小
损失函数(loss)：预测值y和已知值y_的差距
均方误差MSE: MSE(y_, y) =
loss = tf.reduce_mean(tf.squre(y_-y))
反向传播训练方法，以减小loss值位位优化目标
反向传播优化器Optimizer:
train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss) 梯度下降优化器
train_step = tf.train.MomentumOptimizer(learning_rate).minimize(loss)
train_step = tf.train.AdamOptimizer(learning_rate).minimize(loss)
learning_rate(学习率)：决定参数每次更新的幅度
