tf.train.XXX与train有关的函数
1.tf.trainable_variables()
返回所有trainable=True的变量。
当我们在声明变量Variable()时传入trainable=True，Variable()构造函数会自动添加新的变量到图中的集合GraphKeys.TRAINABLE_VARIABLES，这个函数实质上就是返回这个集合中的变量
2.tf.train.GradientDescentOptimizer()
使用随机梯度下降算法，使参数沿着 梯度的反方向，即总损失减小的方向移动，实现更新参数
其中，?(?)为损失函数，?为参数，?为学习率
3.tf.train.MomentumOptimizer()
在更新参数时，利用了超参数，参数更新公式是
其中，?为学习率，超参数为?，?为参数，?(??−1 )为损失函数的梯度
4.tf.train.AdamOptimizer()
是利用自适应学习率的优化算法，Adam 算法和随 机梯度下降算法不同。随机梯度下降算法保持单一的学习率更新所有的参数，学 习率在训练过程中并不会改变。而 Adam 算法通过计算梯度的一阶矩估计和二 阶矩估计而为不同的参数设计独立的自适应性学习率。
