Mini-Batch 、Momentum、Adam算法的实现
Mini-Batch
1. 把训练集打乱，但是X和Y依旧是一一对应的
import numpy as np a = np.random.randn(3,3) print(a) b = list(np.random.permutation(3)) #生成无序的数字0-2之间 print(b) a_shuffled = a[b] #通过索引迭代生成打乱的a print(a_shuffled)
2.创建迷你分支数据集
def random_mini_batches(X,Y,mini_batch_size=64,seed=0): """ 从（X，Y）中创建一个随机的mini-batch列表 参数： X - 输入数据，维度为(输入节点数量，样本的数量) Y - 对应的是X的标签，【1 | 0】（蓝|红），维度为(1,样本的数量) mini_batch_size - 每个mini-batch的样本数量 返回： mini-bacthes - 一个同步列表，维度为（mini_batch_X,mini_batch_Y） """ np.random.seed(seed) #指定随机种子 m = X.shape[1] mini_batches = [] #第一步：打乱顺序 permutation = list(np.random.permutation(m)) #它会返回一个长度为m的随机数组，且里面的数是0到m-1 shuffled_X = X[:,permutation] #将每一列的数据按permutation的顺序来重新排列。 shuffled_Y = Y[:,permutation].reshape((1,m)) """ #博主注： #如果你不好理解的话请看一下下面的伪代码，看看X和Y是如何根据permutation来打乱顺序的。 x = np.array([[1,2,3,4,5,6,7,8,9], [9,8,7,6,5,4,3,2,1]]) y = np.array([[1,0,1,0,1,0,1,0,1]]) random_mini_batches(x,y) permutation= [7, 2, 1, 4, 8, 6, 3, 0, 5] shuffled_X= [[8 3 2 5 9 7 4 1 6] [2 7 8 5 1 3 6 9 4]] shuffled_Y= [[0 1 0 1 1 1 0 1 0]] """ #第二步，分割 num_complete_minibatches = math.floor(m / mini_batch_size) #把你的训练集分割成多少份,请注意，如果值是99.99，那么返回值是99，剩下的0.99会被舍弃 for k in range(0,num_complete_minibatches): mini_batch_X = shuffled_X[:,k * mini_batch_size:(k+1)*mini_batch_size] mini_batch_Y = shuffled_Y[:,k * mini_batch_size:(k+1)*mini_batch_size] """ #博主注： #如果你不好理解的话请单独执行下面的代码，它可以帮你理解一些。 a = np.array([[1,2,3,4,5,6,7,8,9], [9,8,7,6,5,4,3,2,1], [1,2,3,4,5,6,7,8,9]]) k=1 mini_batch_size=3 print(a[:,1*3:(1+1)*3]) #从第4列到第6列 ''' [[4 5 6] [6 5 4] [4 5 6]] ''' k=2 print(a[:,2*3:(2+1)*3]) #从第7列到第9列 ''' [[7 8 9] [3 2 1] [7 8 9]] ''' #看一下每一列的数据你可能就会好理解一些 """ mini_batch = (mini_batch_X,mini_batch_Y) mini_batches.append(mini_batch) #如果训练集的大小刚好是mini_batch_size的整数倍，那么这里已经处理完了 #如果训练集的大小不是mini_batch_size的整数倍，那么最后肯定会剩下一些，我们要把它处理了 if m % mini_batch_size != 0: #获取最后剩余的部分 mini_batch_X = shuffled_X[:,mini_batch_size * num_complete_minibatches:] mini_batch_Y = shuffled_Y[:,mini_batch_size * num_complete_minibatches:] mini_batch = (mini_batch_X,mini_batch_Y) mini_batches.append(mini_batch) return mini_batches
Momentum
1初始化
def initialize_velocity(parameters): """ 初始化速度，velocity是一个字典： - keys: "dW1", "db1", ..., "dWL", "dbL" - values:与相应的梯度/参数维度相同的值为零的矩阵。 参数： parameters - 一个字典，包含了以下参数： parameters["W" + str(l)] = Wl parameters["b" + str(l)] = bl 返回: v - 一个字典变量，包含了以下参数： v["dW" + str(l)] = dWl的速度 v["db" + str(l)] = dbl的速度 """ L = len(parameters) // 2 #神经网络的层数 v = {} for l in range(L): v["dW" + str(l + 1)] = np.zeros_like(parameters["W" + str(l + 1)]) v["db" + str(l + 1)] = np.zeros_like(parameters["b" + str(l + 1)]) return v
2动量更新参数
def update_parameters_with_momentun(parameters,grads,v,beta,learning_rate): """ 使用动量更新参数 参数： parameters - 一个字典类型的变量，包含了以下字段： parameters["W" + str(l)] = Wl parameters["b" + str(l)] = bl grads - 一个包含梯度值的字典变量，具有以下字段： grads["dW" + str(l)] = dWl grads["db" + str(l)] = dbl v - 包含当前速度的字典变量，具有以下字段： v["dW" + str(l)] = ... v["db" + str(l)] = ... beta - 超参数，动量，实数 learning_rate - 学习率，实数 返回： parameters - 更新后的参数字典 v - 包含了更新后的速度变量 """ L = len(parameters) // 2 for l in range(L): #计算速度 v["dW" + str(l + 1)] = beta * v["dW" + str(l + 1)] + (1 - beta) * grads["dW" + str(l + 1)] v["db" + str(l + 1)] = beta * v["db" + str(l + 1)] + (1 - beta) * grads["db" + str(l + 1)] #更新参数 parameters["W" + str(l + 1)] = parameters["W" + str(l + 1)] - learning_rate * v["dW" + str(l + 1)] parameters["b" + str(l + 1)] = parameters["b" + str(l + 1)] - learning_rate * v["db" + str(l + 1)] return parameters,v
Adam
Adam算法是训练神经网络中最有效的算法之一，它是RMSProp算法与Momentum算法的结合体。
1.初始化参数
def initialize_adam(parameters): """ 初始化v和s，它们都是字典类型的变量，都包含了以下字段： - keys: "dW1", "db1", ..., "dWL", "dbL" - values：与对应的梯度/参数相同维度的值为零的numpy矩阵 参数： parameters - 包含了以下参数的字典变量： parameters["W" + str(l)] = Wl parameters["b" + str(l)] = bl 返回： v - 包含梯度的指数加权平均值，字段如下： v["dW" + str(l)] = ... v["db" + str(l)] = ... s - 包含平方梯度的指数加权平均值，字段如下： s["dW" + str(l)] = ... s["db" + str(l)] = ... """ L = len(parameters) // 2 v = {} s = {} for l in range(L): v["dW" + str(l + 1)] = np.zeros_like(parameters["W" + str(l + 1)]) v["db" + str(l + 1)] = np.zeros_like(parameters["b" + str(l + 1)]) s["dW" + str(l + 1)] = np.zeros_like(parameters["W" + str(l + 1)]) s["db" + str(l + 1)] = np.zeros_like(parameters["b" + str(l + 1)]) return (v,s)
2.Adam算法实现
def update_parameters_with_adam(parameters,grads,v,s,t,learning_rate=0.01,beta1=0.9,beta2=0.999,epsilon=1e-8): """ 使用Adam更新参数 参数： parameters - 包含了以下字段的字典： parameters['W' + str(l)] = Wl parameters['b' + str(l)] = bl grads - 包含了梯度值的字典，有以下key值： grads['dW' + str(l)] = dWl grads['db' + str(l)] = dbl v - Adam的变量，第一个梯度的移动平均值，是一个字典类型的变量 s - Adam的变量，平方梯度的移动平均值，是一个字典类型的变量 t - 当前迭代的次数 learning_rate - 学习率 beta1 - 动量，超参数,用于第一阶段，使得曲线的Y值不从0开始（参见天气数据的那个图） beta2 - RMSprop的一个参数，超参数 epsilon - 防止除零操作（分母为0） 返回： parameters - 更新后的参数 v - 第一个梯度的移动平均值，是一个字典类型的变量 s - 平方梯度的移动平均值，是一个字典类型的变量 """ L = len(parameters) // 2 v_corrected = {} #偏差修正后的值 s_corrected = {} #偏差修正后的值 for l in range(L): #梯度的移动平均值,输入："v , grads , beta1",输出：" v " v["dW" + str(l + 1)] = beta1 * v["dW" + str(l + 1)] + (1 - beta1) * grads["dW" + str(l + 1)] v["db" + str(l + 1)] = beta1 * v["db" + str(l + 1)] + (1 - beta1) * grads["db" + str(l + 1)] #计算第一阶段的偏差修正后的估计值，输入"v , beta1 , t" , 输出："v_corrected" v_corrected["dW" + str(l + 1)] = v["dW" + str(l + 1)] / (1 - np.power(beta1,t)) v_corrected["db" + str(l + 1)] = v["db" + str(l + 1)] / (1 - np.power(beta1,t)) #计算平方梯度的移动平均值，输入："s, grads , beta2"，输出："s" s["dW" + str(l + 1)] = beta2 * s["dW" + str(l + 1)] + (1 - beta2) * np.square(grads["dW" + str(l + 1)]) s["db" + str(l + 1)] = beta2 * s["db" + str(l + 1)] + (1 - beta2) * np.square(grads["db" + str(l + 1)]) #计算第二阶段的偏差修正后的估计值，输入："s , beta2 , t"，输出："s_corrected" s_corrected["dW" + str(l + 1)] = s["dW" + str(l + 1)] / (1 - np.power(beta2,t)) s_corrected["db" + str(l + 1)] = s["db" + str(l + 1)] / (1 - np.power(beta2,t)) #更新参数，输入: "parameters, learning_rate, v_corrected, s_corrected, epsilon". 输出: "parameters". parameters["W" + str(l + 1)] = parameters["W" + str(l + 1)] - learning_rate * (v_corrected["dW" + str(l + 1)] / np.sqrt(s_corrected["dW" + str(l + 1)] + epsilon)) parameters["b" + str(l + 1)] = parameters["b" + str(l + 1)] - learning_rate * (v_corrected["db" + str(l + 1)] / np.sqrt(s_corrected["db" + str(l + 1)] + epsilon)) return (parameters,v,s)
def update_parameters_with_momentun(parameters,grads,v,beta,learning_rate):""" 使用动量更新参数 参数： parameters - 一个字典类型的变量，包含了以下字段： parameters["W" + str(l)] = Wl parameters["b" + str(l)] = bl grads - 一个包含梯度值的字典变量，具有以下字段： grads["dW" + str(l)] = dWl grads["db" + str(l)] = dbl v - 包含当前速度的字典变量，具有以下字段： v["dW" + str(l)] = ... v["db" + str(l)] = ... beta - 超参数，动量，实数 learning_rate - 学习率，实数 返回： parameters - 更新后的参数字典 v - 包含了更新后的速度变量 """ L = len(parameters) // 2for l in range(L): #计算速度 v["dW" + str(l + 1)] = beta * v["dW" + str(l + 1)] + (1 - beta) * grads["dW" + str(l + 1)] v["db" + str(l + 1)] = beta * v["db" + str(l + 1)] + (1 - beta) * grads["db" + str(l + 1)] #更新参数 parameters["W" + str(l + 1)] = parameters["W" + str(l + 1)] - learning_rate * v["dW" + str(l + 1)] parameters["b" + str(l + 1)] = parameters["b" + str(l + 1)] - learning_rate * v["db" + str(l + 1)] return parameters,v
