Mini-Batch
1. 把训练集打乱，但是X和Y依旧是一一对应的
import numpy as np
a = np.random.randn(3,3)
print(a)
b = list(np.random.permutation(3)) #生成无序的数字0-2之间
print(b)
a_shuffled = a[b] #通过索引迭代生成打乱的a
print(a_shuffled)
2.创建迷你分支数据集
def random_mini_batches(X,Y,mini_batch_size=64,seed=0):
"""
从（X，Y）中创建一个随机的mini-batch列表 参数：
X - 输入数据，维度为(输入节点数量，样本的数量)
Y - 对应的是X的标签，【1 | 0】（蓝|红），维度为(1,样本的数量)
mini_batch_size - 每个mini-batch的样本数量 返回：
mini-bacthes - 一个同步列表，维度为（mini_batch_X,mini_batch_Y） """ np.random.seed(seed) #指定随机种子
m = X.shape[1]
mini_batches = [] #第一步：打乱顺序
permutation = list(np.random.permutation(m)) #它会返回一个长度为m的随机数组，且里面的数是0到m-1
shuffled_X = X[:,permutation] #将每一列的数据按permutation的顺序来重新排列。
shuffled_Y = Y[:,permutation].reshape((1,m)) """
#博主注：
#如果你不好理解的话请看一下下面的伪代码，看看X和Y是如何根据permutation来打乱顺序的。
x = np.array([[1,2,3,4,5,6,7,8,9],
[9,8,7,6,5,4,3,2,1]])
y = np.array([[1,0,1,0,1,0,1,0,1]]) random_mini_batches(x,y)
permutation= [7, 2, 1, 4, 8, 6, 3, 0, 5]
shuffled_X= [[8 3 2 5 9 7 4 1 6]
[2 7 8 5 1 3 6 9 4]]
shuffled_Y= [[0 1 0 1 1 1 0 1 0]]
""" #第二步，分割
num_complete_minibatches = math.floor(m / mini_batch_size) #把你的训练集分割成多少份,请注意，如果值是99.99，那么返回值是99，剩下的0.99会被舍弃
for k in range(0,num_complete_minibatches):
mini_batch_X = shuffled_X[:,k * mini_batch_size:(k+1)*mini_batch_size]
mini_batch_Y = shuffled_Y[:,k * mini_batch_size:(k+1)*mini_batch_size]
"""
#博主注：
#如果你不好理解的话请单独执行下面的代码，它可以帮你理解一些。
a = np.array([[1,2,3,4,5,6,7,8,9],
[9,8,7,6,5,4,3,2,1],
[1,2,3,4,5,6,7,8,9]])
k=1
mini_batch_size=3
print(a[:,1*3:(1+1)*3]) #从第4列到第6列
'''
[[4 5 6]
[6 5 4]
[4 5 6]]
'''
k=2
print(a[:,2*3:(2+1)*3]) #从第7列到第9列
'''
[[7 8 9]
[3 2 1]
[7 8 9]]
''' #看一下每一列的数据你可能就会好理解一些
"""
mini_batch = (mini_batch_X,mini_batch_Y)
mini_batches.append(mini_batch) #如果训练集的大小刚好是mini_batch_size的整数倍，那么这里已经处理完了
#如果训练集的大小不是mini_batch_size的整数倍，那么最后肯定会剩下一些，我们要把它处理了
if m % mini_batch_size != 0:
#获取最后剩余的部分
mini_batch_X = shuffled_X[:,mini_batch_size * num_complete_minibatches:]
mini_batch_Y = shuffled_Y[:,mini_batch_size * num_complete_minibatches:] mini_batch = (mini_batch_X,mini_batch_Y)
mini_batches.append(mini_batch) return mini_batches
Momentum
1初始化
def initialize_velocity(parameters):
"""
初始化速度，velocity是一个字典：
- keys: "dW1", "db1", ..., "dWL", "dbL"
- values:与相应的梯度/参数维度相同的值为零的矩阵。
参数：
parameters - 一个字典，包含了以下参数：
parameters["W" + str(l)] = Wl
parameters["b" + str(l)] = bl
返回:
v - 一个字典变量，包含了以下参数：
v["dW" + str(l)] = dWl的速度
v["db" + str(l)] = dbl的速度 """
L = len(parameters) // 2 #神经网络的层数
v = {} for l in range(L):
v["dW" + str(l + 1)] = np.zeros_like(parameters["W" + str(l + 1)])
v["db" + str(l + 1)] = np.zeros_like(parameters["b" + str(l + 1)]) return v
2动量更新参数
def update_parameters_with_momentun(parameters,grads,v,beta,learning_rate):
"""
使用动量更新参数
参数：
parameters - 一个字典类型的变量，包含了以下字段：
parameters["W" + str(l)] = Wl
parameters["b" + str(l)] = bl
grads - 一个包含梯度值的字典变量，具有以下字段：
grads["dW" + str(l)] = dWl
grads["db" + str(l)] = dbl
v - 包含当前速度的字典变量，具有以下字段：
v["dW" + str(l)] = ...
v["db" + str(l)] = ...
beta - 超参数，动量，实数
learning_rate - 学习率，实数
返回：
parameters - 更新后的参数字典
v - 包含了更新后的速度变量
"""
L = len(parameters) // 2
for l in range(L):
#计算速度
v["dW" + str(l + 1)] = beta * v["dW" + str(l + 1)] + (1 - beta) * grads["dW" + str(l + 1)]
v["db" + str(l + 1)] = beta * v["db" + str(l + 1)] + (1 - beta) * grads["db" + str(l + 1)] #更新参数
parameters["W" + str(l + 1)] = parameters["W" + str(l + 1)] - learning_rate * v["dW" + str(l + 1)]
parameters["b" + str(l + 1)] = parameters["b" + str(l + 1)] - learning_rate * v["db" + str(l + 1)] return parameters,v
Adam
Adam算法是训练神经网络中最有效的算法之一，它是RMSProp算法与Momentum算法的结合体。
1.初始化参数
def initialize_adam(parameters):
"""
初始化v和s，它们都是字典类型的变量，都包含了以下字段：
- keys: "dW1", "db1", ..., "dWL", "dbL"
- values：与对应的梯度/参数相同维度的值为零的numpy矩阵 参数：
parameters - 包含了以下参数的字典变量：
parameters["W" + str(l)] = Wl
parameters["b" + str(l)] = bl
返回：
v - 包含梯度的指数加权平均值，字段如下：
v["dW" + str(l)] = ...
v["db" + str(l)] = ...
s - 包含平方梯度的指数加权平均值，字段如下：
s["dW" + str(l)] = ...
s["db" + str(l)] = ... """ L = len(parameters) // 2
v = {}
s = {} for l in range(L):
v["dW" + str(l + 1)] = np.zeros_like(parameters["W" + str(l + 1)])
v["db" + str(l + 1)] = np.zeros_like(parameters["b" + str(l + 1)]) s["dW" + str(l + 1)] = np.zeros_like(parameters["W" + str(l + 1)])
s["db" + str(l + 1)] = np.zeros_like(parameters["b" + str(l + 1)]) return (v,s)
2.Adam算法实现
def update_parameters_with_adam(parameters,grads,v,s,t,learning_rate=0.01,beta1=0.9,beta2=0.999,epsilon=1e-8):
"""
使用Adam更新参数 参数：
parameters - 包含了以下字段的字典：
parameters['W' + str(l)] = Wl
parameters['b' + str(l)] = bl
grads - 包含了梯度值的字典，有以下key值：
grads['dW' + str(l)] = dWl
grads['db' + str(l)] = dbl
v - Adam的变量，第一个梯度的移动平均值，是一个字典类型的变量
s - Adam的变量，平方梯度的移动平均值，是一个字典类型的变量
t - 当前迭代的次数
learning_rate - 学习率
beta1 - 动量，超参数,用于第一阶段，使得曲线的Y值不从0开始（参见天气数据的那个图）
beta2 - RMSprop的一个参数，超参数
epsilon - 防止除零操作（分母为0） 返回：
parameters - 更新后的参数
v - 第一个梯度的移动平均值，是一个字典类型的变量
s - 平方梯度的移动平均值，是一个字典类型的变量
"""
L = len(parameters) // 2
v_corrected = {} #偏差修正后的值
s_corrected = {} #偏差修正后的值 for l in range(L):
#梯度的移动平均值,输入："v , grads , beta1",输出：" v "
v["dW" + str(l + 1)] = beta1 * v["dW" + str(l + 1)] + (1 - beta1) * grads["dW" + str(l + 1)]
v["db" + str(l + 1)] = beta1 * v["db" + str(l + 1)] + (1 - beta1) * grads["db" + str(l + 1)] #计算第一阶段的偏差修正后的估计值，输入"v , beta1 , t" , 输出："v_corrected"
v_corrected["dW" + str(l + 1)] = v["dW" + str(l + 1)] / (1 - np.power(beta1,t))
v_corrected["db" + str(l + 1)] = v["db" + str(l + 1)] / (1 - np.power(beta1,t)) #计算平方梯度的移动平均值，输入："s, grads , beta2"，输出："s"
s["dW" + str(l + 1)] = beta2 * s["dW" + str(l + 1)] + (1 - beta2) * np.square(grads["dW" + str(l + 1)])
s["db" + str(l + 1)] = beta2 * s["db" + str(l + 1)] + (1 - beta2) * np.square(grads["db" + str(l + 1)]) #计算第二阶段的偏差修正后的估计值，输入："s , beta2 , t"，输出："s_corrected"
s_corrected["dW" + str(l + 1)] = s["dW" + str(l + 1)] / (1 - np.power(beta2,t))
s_corrected["db" + str(l + 1)] = s["db" + str(l + 1)] / (1 - np.power(beta2,t)) #更新参数，输入: "parameters, learning_rate, v_corrected, s_corrected, epsilon". 输出: "parameters".
parameters["W" + str(l + 1)] = parameters["W" + str(l + 1)] - learning_rate * (v_corrected["dW" + str(l + 1)] / np.sqrt(s_corrected["dW" + str(l + 1)] + epsilon))
parameters["b" + str(l + 1)] = parameters["b" + str(l + 1)] - learning_rate * (v_corrected["db" + str(l + 1)] / np.sqrt(s_corrected["db" + str(l + 1)] + epsilon)) return (parameters,v,s)
def update_parameters_with_momentun(parameters,grads,v,beta,learning_rate):"""
使用动量更新参数
参数：
parameters - 一个字典类型的变量，包含了以下字段：
parameters["W" + str(l)] = Wl
parameters["b" + str(l)] = bl
grads - 一个包含梯度值的字典变量，具有以下字段：
grads["dW" + str(l)] = dWl
grads["db" + str(l)] = dbl
v - 包含当前速度的字典变量，具有以下字段：
v["dW" + str(l)] = ...
v["db" + str(l)] = ...
beta - 超参数，动量，实数
learning_rate - 学习率，实数
返回：
parameters - 更新后的参数字典
v - 包含了更新后的速度变量
"""
L = len(parameters) // 2for l in range(L):
#计算速度
v["dW" + str(l + 1)] = beta * v["dW" + str(l + 1)] + (1 - beta) * grads["dW" + str(l + 1)]
v["db" + str(l + 1)] = beta * v["db" + str(l + 1)] + (1 - beta) * grads["db" + str(l + 1)]
#更新参数
parameters["W" + str(l + 1)] = parameters["W" + str(l + 1)] - learning_rate * v["dW" + str(l + 1)]
parameters["b" + str(l + 1)] = parameters["b" + str(l + 1)] - learning_rate * v["db" + str(l + 1)]
return parameters,v