1. 在我们学习中，调试超参数是非常重要的。
超参数的调试可以是a学习率，（β1和β2，ε）在Adam梯度下降中使用, layers层数, hidden units 隐藏层的数目,
learning_rate_dacay 学习率衰减, mini-batch size 每次迭代的样本数目
当需要调节的参数的数目较多时，我们通常使用随机参数选择进行参数调节.
比如学习率的范围为0.0001 - 1 , 在0.0001-0.001之间，样本随学习率的变化较大，因此有必要增加这部分的权重，我们使用log函数
a_1 = log10(0.0001) = -4
a_2 = log10(1) = 0
r = -4 * np.random.randn() (生成-4-0的数字)
a = 10^r 来决定学习率
还有β1的范围为0.9-0.999
1-β1= 0.0001-0.1
β_1 = log10(0.0001) = -4
β_2 = log10(0.1) = -1
r = -4*np,random.randn(0.25, 1)
β1 =1 - 10^r
2. batch归一化
μ = 1/mΣZ(i) #表示输入样本的所有均值
δ2 = 1/mΣ(Z(i) - μ) #表示方差
Z(i) = (Z(i) - μ) / (np.sqrt(δ2 + ε)) #进行归一化操作 ε防止分母出现0的出现
Z(i) = γ*Z(i) + β # 为了使得Z(i) 的取值范围更大，在后续的激活函数中表现得更多样
此时的反向传播的训练参数为
w := w - a * dw
γ := γ - a * dγ
β := β - a * dβ
由于进行了去均值的操作，所以使得b就被消去了
batch归一化的作用，使得前层数据不会变得那么多变，使得当前层的训练变得更加独立和容易，对前一层的依赖也就越少,
由于计算的均值和标准差，使得一定的噪音信号产生，有点类似dropout，使得训练算法不过分依赖某些神经元，起到了轻微的正则化的作用
下面是tensorflow实现的,使用的是RMS梯度下降
conv_bn = tf.contrib.layers.batch_norm(conv, momentum, scale=True, epsilon=1e-5,is_training = self.training, scope=names) scale是指系数λ。 实际在搭建好包含BN层的网络之后，进行训练时需要注意使用如下模式代码： rmsprop = tf.train.RMSPropOptimizer(learning_rate= self.lr) with tf.control_dependencies(self.update_ops): self.train_rmsprop = rmsprop.minimize(loss）
3.softmax使用
对于logistics回归，是一个参数输入一个参数输出，
对于softmax实现的是一个多分类问题，输入是1*4， 输出也是1*4
Z[l] = W[l] * a[l-1] + b[l]
t = e^(Z[l])
a(i)[l] = t(i) / Σ(t(i))
举例说明
z[l] = [5, 2, -1, 3]
t = [148.4, 7.4, 0.4, 20.1]
a = [0.842, 0.042, 0.002, 0.114]
我们在做这类标签时，
y = [0, 1, 0, 0]
y_1 = [0.3, 0,2, 0.1, 0.4] #y_1表示softmax的输出值
loss(y_1, y) = - Σy*logy_1 = -logy_1(2) 即保证y_1的第二数越来越大
y = [y[1], y[2], y[m]] # m 表示样本的个数， y的样本shape为（4， m）
j = 1/mΣloss(y_1, y) # 总的损失函数
4. tensorflow 框架举例
import numpy as np import tensorflow as tf coffitent = np.array([[0.1], [0.2], [0.3]]) w = tf.Variable(0, dtype=tf.float32) # cost = (tf.add(w**2, tf.multiply(-10, w)), 25) # 表示迟点输入x x = tf.placeholder(tf.float32, [3, 1]) # cost = w**2 - 10*w + 25 cost = x[0][0]*w**2 + x[1][0]*w + x[2][0] train = tf.train.GradientDescentOptimizer(0.001).minimize(cost) init = tf.global_variables_initializer() session = tf.Session() session.run(init) print(session.run(w)) session.run(train, feed_dict={x:coffitent}) print(session.run(w)) for i in range(1000): # feed_dict 表示需要输入的参数 session.run(train, feed_dict={x:coffitent}) print(session.run(w))
