深层神经网络——总结

设计神经网络的两个总体原则：非线性结构和多层结构
设计损失函数，神经网络是一个优化问题，而损失函数就是刻画了神经网络需要优化的目标。分类问题和回归问题的常用损失函数。
优化神经网络最常用反向传播算法和梯度下降算法。
指数衰减方法设置学习率，加快训练速度，训练后期又不会出现损失函数在极小值周围徘徊往返情况。
正则化解决过拟合问题。