tf.metrics 使用过程中发现的一些问题

起因是看到了这么一个帖子：

http://www.cocoachina.com/cms/wap.php?action=article&id=86347

 

 

 

 

 

简短来说就是下面的代码   运行起来结果十分的怪异！！！

 

import tensorflow as tf

a = tf.constant(1.)
mean_a, mean_a_uop = tf.metrics.mean(a)
with tf.control_dependencies([mean_a_uop]):
  mean_a = tf.identity(mean_a)

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
tf.local_variables_initializer().run()

for _ in range(10):
  print(sess.run(mean_a))

 

在CPU上运行：

第一次运行结果：

 

第二次运行结果：

 

第三次运行结果：

 

第四次运行结果：

 

第五次运行结果：

 

可以发现上述代码在CPU环境下运行每次结果均不太相同，而且离希望得到结果都不一样。

希望的结果为   1.0  1.0  1.0  1.0    1.0     1.0     1.0     1.0      1.0     1.0

 

 

 

 

 

 

 

在GPU上运行：

第一次结果：

 

 

第二次结果：

 

 

第三次结果：

 

 

 

第四次结果：

 

 

 

第五次结果：

 

可以发现上述代码在GPU环境下运行每次结果均相同，但都不是希望的结果。

希望的结果为   1.0  1.0  1.0  1.0    1.0     1.0     1.0     1.0      1.0     1.0

 

 

以上则为所引帖子中所提问题。

 

==================================================================

 

 

 

 

由上面的问题做了写尝试：（以下测试均在GPU上执行）

1.

import tensorflow as tf

a = tf.constant([1.0,])
mean_a, mean_a_uop = tf.metrics.mean(a)

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
tf.local_variables_initializer().run()

for _ in range(10):
  print(sess.run([mean_a_uop, mean_a]))
print('result:--------------------')
print(sess.run(mean_a))

 

最终的均值  mean_a 为1.0， 结果正确。

过程中   mean_a_uop 为全局更新操作，结果一直为1.0，结果正确。

过程中   均值  mean_a   在浮动，不一直为1.0， 结果不正确。 

 

 

 

 

 

 

2.

import tensorflow as tf
import numpy as np

a = tf.constant([1.])
mean_a, mean_a_uop = tf.metrics.mean(a)

with tf.control_dependencies([mean_a_uop]):
    op=tf.no_op()

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
tf.local_variables_initializer().run()

for _ in range(10):
  print(sess.run([mean_a, op,mean_a_uop]))
print('result: --------------------')
print(sess.run(mean_a))

最终的均值  mean_a 为1.0， 结果正确。

过程中   mean_a_uop 为全局更新操作，结果一直为1.0，结果正确。

过程中   均值  mean_a   在浮动，不一直为1.0， 结果不正确。 

 

 

 

 

 

 

 

3.

import tensorflow as tf

a = tf.constant([1.,])
mean_a, mean_a_uop = tf.metrics.mean(a)

with tf.control_dependencies([mean_a_uop]):
  mean_a2 = tf.identity(mean_a)

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
tf.local_variables_initializer().run()

for _ in range(10):
  print(sess.run([mean_a2, mean_a, mean_a_uop]))
print('result: ---------------')
print(sess.run(mean_a))

 

最终的均值  mean_a 为1.0， 结果正确。

过程中   mean_a_uop 为全局更新操作，结果一直为1.0，结果正确。

过程中   均值  mean_a， mean_a2相等  且在浮动，不一直为1.0， 结果不正确。

 

 

 

===============================================================

 

 

根据原帖子将原始代码中的tf.constant 换成 tf.Variable，效果如何呢？

import tensorflow as tf

a = tf.Variable(tf.constant(1.))
mean_a, mean_a_uop = tf.metrics.mean(a)
with tf.control_dependencies([mean_a_uop]):
  mean_a = tf.identity(mean_a)

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
tf.local_variables_initializer().run()

for _ in range(10):
  print(sess.run(mean_a))

 

CPU上运行：

 

第一次运行结果：

 

第二次运行结果：

 

第三次运行结果：

 

 

 

 

在GPU上运行呢？？？

第一次运行：

 

第二次运行：

 

 

 

第三次运行：

 

 

===========================================================================

 

 

 

 

综上发现如果不规范的使用   tf.metrics     会引发不可预知的后果，主要使用不当如下：（虽然如下的做法也没理由出错，但是事实却是常出错，有问题）

 

mean_a, mean_a_uop = tf.metrics.mean(a)
with tf.control_dependencies([mean_a_uop]):
  mean_a = tf.identity(mean_a)

for _ in range(10):
  print(sess.run(mean_a))

 

正确使用如下：

 

 

import tensorflow as tf

a = tf.Variable(tf.constant(1.))
mean_a, mean_a_uop = tf.metrics.mean(a)
#with tf.control_dependencies([mean_a_uop]):
#  mean_a = tf.identity(mean_a)

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
tf.local_variables_initializer().run()

for _ in range(10):
  print(sess.run(mean_a_uop))

print('result:-------------')
print(sess.run(mean_a))

 

 

CPU上运行：

 

 

 

GPU上运行：

 

 

 

 

解决   tf.metrics  出错问题  的关键就是  不使用  依赖控制     tf.control_dependencies   。

 

mean_a, mean_a_uop = tf.metrics.mean   中的   均值mean_a  和  更新mean_a_uop 不在一个session执行中获得，  即

 

如下操作：

for _ in range(10):
  print(sess.run(mean_a_uop))

print('result:-------------')
print(sess.run(mean_a))

 

而且在更新过程中，  mean_a_uop 的结果会一直保证正确，   mean_a只有在新的session执行中才保证正确。

 

至于为什么会有这么个结果也是无法解释的，不过这应该是既成事实，使用过程中注意就好，还有就是  依赖控制 慎用  tf.control_dependencies ,  不是必须使用的时候就不用。