AI-Dog

爱生活,乐分享,大家好才是真的好!

导航

神经网络参数与TensorFlow变量

在TensorFlow中变量的作用是保存和更新神经网络中的参数,需要给变量指定初始值,如下声明一个2x3矩阵变量

weights =tf.Variable(tf.random_normal([2,3], stddev=1))

在这段代码中tf.random_normal([2,3], stddev=1)会产生一个2x3的矩阵,矩阵中的元素是均值为0,标准差为2的随机数。tf.random_normal()可以通过参数mean来指定平均值,不指定默认0.

函数名称 随机数分布 主要参数
tf.random_normal 正态分布 平均值、标准差、取值类型
tf.truncated_normal

正态分布、但随机出来的值偏离平均值超

过2个标准差,那么这个数将会重新随机

平均值、标准差、取值类型
tf.random_uniform 均匀分布 最小值、最大值、取值类型
tf.random_gamma Gamma分布 形状参数alpha、尺度参数beta、取值类型

 

 TensorFlow支持常量来初始化变量,下表将给出常用的常量声明方法

函数名称 功能 样例
tf.zeros 产生全为0的数组 tf.zeros([2,3], int32) -> [[0,0,0], [0,0,0]]
tf.ones 产生全为1的数组 tf.oness([2,3], int32) -> [[1,1,1], [1,1,1]]
tf.fill 产生一个全部为给定数字的数组 tf.fill([2,3], 9) -> [[9,9,9], [9,9,9]]
tf.constant 产生一个给定值的常量 tf.constant([1,2,3]) -> [1,2,3]


在神经网络中,偏置项通常会使用常数来设置初始值,下面代码将会生成一个初始值 全部为0且长度为3的变量

biases = tf.Variable(tf.zeros([3]))

TensorFlow也支持通过其他变量的初始值来初始化新的变量

W1 = tf.Variable(tf.random_normal([3, 3], stddev=2))
W2 = tf.Variable(W1.initialized_value())    # W2的初始值设置与W1初始值相同
W3 = tf.Variable(W1.initialized_value() * 2.0)  # W3的初始值设置是W1初始值2倍

 在TensorFlow中一个变量在使用前必须对其进行初始化,下面程序变量实现神经网络参数并实现前向传播的过程

import tensorflow as tf


# 声明w1, w2两个变量。通过seed参数设定随机种子
# 这样可以保证每次运行得到的结果是一样的
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))

# 暂时将输入的特征向量定义一个常量,x是一个1x2的矩阵
x = tf.constant([[1.0, 2.9]])

# 通过前项传播算法得到神经网络的输出
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
# 定义会话
sess = tf.Session()
# 初始化变量, 初始化所有的变量可以使用tf.global_variables_initializer()函数
sess.run(w1.initializer)
sess.run(w2.initializer)
print(sess.run(y))
sess.close()

"""
输出
[[9.153097]]

"""

 

posted on 2019-03-11 16:57  AI-Dog  阅读(223)  评论(0编辑  收藏  举报