Internal Covariate Shift:每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难（神经网络本来就是要学习数据的分布，要是分布一直在变，学习就很难了）
Covariate Shift:由于训练数据和测试数据存在分布的差异性，给网络的泛化性和训练速度带来了影响。
归一化的效果图：
BatchnormBatchnorm是归一化的一种手段，极限来说，这种方式会减小图像之间的绝对差异，突出相对差异，加快训练速度。
若将每一层输出后的数据都归一化到0均值，1方差，满足正太分布，其完全学习不到输入数据的特征，因为，费劲心思学习到的特征分布被归一化了。
加入可训练的参数做归一化，那就是BatchNormBatchNorm实现的了。
β 和γ分别称之为平移参数和缩放参数 。这样就保证了每一次数据经过归一化后还保留的有学习来的特征，同时又能完成归一化这个操作，加速训练。
def Batchnorm_simple_for_train(x, gamma, beta, bn_param):
"""
param:x : 输入数据，设shape(B,L)
param:gama : 缩放因子 γ
param:beta : 平移因子 β
param:bn_param : batchnorm所需要的一些参数
eps : 接近0的数，防止分母出现0
momentum : 动量参数，一般为0.9， 0.99， 0.999
running_mean ：滑动平均的方式计算新的均值，训练时计算，为测试数据做准备
running_var : 滑动平均的方式计算新的方差，训练时计算，为测试数据做准备
"""
running_mean = bn_param['running_mean'] #shape = [B]
running_var = bn_param['running_var'] #shape = [B]
results = 0. # 建立一个新的变量 x_mean=x.mean(axis=0) # 计算x的均值
x_var=x.var(axis=0) # 计算方差
x_normalized=(x-x_mean)/np.sqrt(x_var+eps) # 归一化
results = gamma * x_normalized + beta # 缩放平移 running_mean = momentum * running_mean + (1 - momentum) * x_mean
running_var = momentum * running_var + (1 - momentum) * x_var #记录新的值
bn_param['running_mean'] = running_mean
bn_param['running_var'] = running_var return results , bn_param
batchnorm mean var 是根据样本计算出来的，而不是反向传播计算而来的
在训练过程中，mean var参数的更新由原来的running_mean*0.9加上新计算的x_mean*0.1
batchnorm的优点：
1.较大的学习率极大的提高了学习速度。
2.batchnorm本身也是一种正则方式，可以代替其他的正则化方法，如dropout。
3.batchnorm降低了数据之间的绝对差异，更多的考虑相对差异，在分类任务上有更好的效果。