tensorflow 调参过程

1. optimizer = tf.train.GradientDescentOptimizer(0.1)

参数小，loss减少的慢；参数大，出现Nan问题

2. optimizer = tf.train.AdadeltaOptimizer(learning_rate=1)  

改为自适应参数形式

3. tf.nn.relu()  改为 tf.nn.leaky_relu()