前言：因为要实现GAN，简单理解一下训练过程需要用到的Adam优化器。
一、简单认识
Adam（自适应矩估计 Adaptive moment estimation）
翻译：
参数设定：
(元素乘操作)，
：步长或称学习率（stepsize）；
：矩估计的指数衰减率；
：参数
的随机目标函数值；
：初始第一矩向量；
：第二矩向量；
：时间步长；
优化过程（更新参数向量过程）：
while 
未收敛: {
获得新一轮的梯度值（参数是上轮刚更新的）
更新第一矩向量
更新第二矩向量
计算偏差校正的第一矩向量
计算偏差校正的第二矩向量
更新参数
}
优化参数过程结束
二、代码实现
https://github.com/dream-catcher/learning_blogs/blob/master/Adam_Optimizer/adam_optimizer.py
参考链接：https://www.jianshu.com/p/aebcaf8af76e