BN本质上解决的是反向传播过程中的梯度问题。
详细点说，反向传播时经过该层的梯度是要乘以该层的参数的，即前向有：
那么反向传播时便有：
那么考虑从l层传到k层的情况，有：
上面这个 
便是问题所在。因为网络层很深，如果 
大多小于1，那么传到这里的时候梯度会变得很小比如 
又大多大于1，那么传到这里的时候又会有梯度爆炸问题 比如
具体有：
(
) = (
)
那么反向求导时便有了：
可以看到此时反向传播乘以的数不再和 
的尺度相关，也就是说尽管我们在更新过程中改变了 的值，但是反向传播的梯度却不受影响。更进一步：
即尺度较大的 将获得一个较小的梯度，在同等的学习速率下其获得的更新更少，这样使得整体 的更新更加稳健起来。
总结起来就是BN解决了反向传播过程中的梯度问题（梯度消失和爆炸），同时使得不同scale的 整体更新步调更一致。