【TF-2-2】Tensorflow-变量作用域
目录
- 背景
- 简介
- name_scope
- variable_scope
- 实例
一、背景
通过tf.Variable我们可以创建变量，但是当模型复杂的时候，需要构建大量的变量集，这样会导致我们对于变量管理的复杂性，而且没法共享变量(存在多个相似的变量)。针对这个问题，可以通过TensorFlow提供的变量作用域机制来解决，在构建一个图的时候，就可以非常容易的使用共享命名的变量。
二、简介
Tensorflow中有两个作用域，一个是name_scope，另一个是variable_scope。
name_score的主要作用是为op_name前加前缀，variable_score是为get_variable创建的变量的名字前缀。简单来讲：使用tf.Variable创建的变量受name_score和variable_score的效果，会给变量添加前缀，但是使用tf.get_variable创建变量只受variable_score的效果。
注意：variable_score内部会创建一个同名的name_score
三、name_scope
用于为变量划分范围。在TensorFlow 中常常会有数以千计的节点，在可视化的过程中很难一下子展示出来，因此用 name_scope 为变量划分范围，在可视化中，这表示在计算图中的一个层级。name_scope会影响 op_name，不会影响用 get_variable()创建的变量，而会影响通过 Variable()创建的变量以及操作的名称，给他们添加一个前缀。
四、variable_scope
变量作用域机制在TensorFlow中主要通过两部分组成：tf.get_variable和tf.variable_scope
v = tf.get_variable(name, shape, dtype, initializer) # 通过所给的名字创建或是返回一个变量
tf.variable_scope(<scope_name>) # 为变量指定命名空间
4.1 tf.get_variable：
通过所给定的名字创建或者返回一个对应的变量，这个方法在建立新的变量时与tf.Variable()完全相同。
- tf.Variable()在定义的时候必须初始化，而tf.get_variable()定义的时候可以先不进行初始化操作。
- 想要进行变量共享，必须使用tf.get_variable()实现，搭配命名空间，以及reuse关键字的使用，就可以实现变量的共享；而tf.Variable()每次都会生成一个新的变量。
tf.get_variable方法在调用的时候，主要需要给定参数名称name，形状shape，数据类型dtype以及初始化方式initializer四个参数，前两个参数是必须的。
- tf.get_variable常用的initializer初始化器：
|
初始化器 |
描述 |
|
tf.constant_initializer(value) |
初始化为给定的常数值value |
|
tf.random_uniform_initializer(a, b) |
初始化为从a到b的均匀分布的随机值 |
|
tf.random_normal_initializer(mean, stddev) |
初始化为均值为mean、 方差为stddev的服从高斯分布的随机值 |
|
tf.orthogonal_initializer(gini=1.0) |
初始化一个正交矩阵， gini参数作用是最终返回的矩阵是随机矩阵乘以gini的结果 |
|
tf.identity_initializer(gini=1.0) |
初始化一个单位矩阵， gini参数作用是最终返回的矩阵是随机矩阵乘以gini的结果 |
简单代码：
import tensorflow as tf
with tf.variable_scope("foo"):
v = tf.get_variable("v",[1],initializer=tf.constant_initializer(1.0))
print(v.name)
with tf.variable_scope("la"):
with tf.variable_scope("bar"):
v1 = tf.get_variable("v",[1])
print(v1.name);
with tf.variable_scope("b"):
v2=tf.get_variable("c",[1])
print(v2.name)
with tf.variable_scope(""):
v2 = tf.get_variable("foo/c", [1])
print(v2.name)
结果：
foo/v:0
la/bar/v:0
la/bar/b/c:0
foo/c:0
4.2 tf.variable_scope：
为通过创建的变量或者操作指定命名空间。它会管理在名为scope_name的域（scope）下传递给tf.get_variable的所有变量名（组成了一个变量空间），根据规则确定这些变量是否进行复用。这个方法最重要的参数是reuse，有None,tf.AUTO_REUSE与True三个选项。
当reuse值为False(不允许设置)：作用域就是创建新变量设置的，此时要求对应的变量不存在，否则报错；
with tf.variable_scope("foo"):
v = tf.get_variable("v", [1])
v2 = tf.get_variable("v", [1])#这里v变量已经定义过了，所以会报错
assert v.name == "foo/v:0"
当reuse值为True：作用域就是为重用变量所设置的，此时要求对应的变量必须存在，否则报错。
当reuse的值为tf.AUTO_REUSE的时候，表示如果变量存在就重用变量，如果变量不存在，就创建新变量返回。(备注：reuse一般设置在variable score对象上)
- tf.variable_score方法的作用就是定义一个作用域，定义在variable_score作用域中的变量和操作，会将variable score的名称作为前缀添加到变量/操作名称前，支持嵌套的作用域，添加前缀规则和文件目录路径的规则类似。
- tf.variable_score参数如果给定的是一个已经存在的作用域对象的时候，那么构建变量的时候表示直接跳过当前作用域前缀，直接成为一个完全不同与现在的作用域(直接创建给定作用域下的变量)。但是构建操作的时候，还是和嵌套的方式一样，直接添加子作用域。
- tf.variable_score参数中，可以给定当前作用域中默认的初始化器initializer，并且子作用域会直接继承父作用域的相关参数(是否重用、默认初始化器等)
五、实例
推荐方式二，代码如下：
1 def my_func(x):
2 # initializer：初始化器
3 # w = tf.Variable(tf.random_normal([1]), name='w')[0]
4 # b = tf.Variable(tf.random_normal([1]), name='b')[0]
5 w = tf.get_variable(name='w', shape=[1], initializer=tf.random_normal_initializer())[0]
6 b = tf.get_variable(name='b', shape=[1], initializer=tf.random_normal_initializer())[0]
7 r = w * x + b
8 return r, w, b
9 def func(x):
10 with tf.variable_scope('op1', reuse=tf.AUTO_REUSE):
11 r1 = my_func(x)
12 return r1
13 # 下面两行代码还是属于图的构建
14 x1 = tf.constant(3, dtype=tf.float32, name='x1')
15 with tf.variable_scope('func1'):
16 r1 = func(x1)
17 with tf.Session(config=tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)) as sess:
18 tf.global_variables_initializer().run() # 初始化
19 print(sess.run(r1)) # 执行结果
20
