Deep Learning 22:总结一些deep learning的基本知识

时间:2022-07-14 14:51:26

1.交叉熵代价函数

2.正则化方法:L1和L2 regularization、数据集扩增、dropout

3. 数据预处理

4.机器学习算法中如何选取超参数:学习速率、正则项系数、minibatch size

5.随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比

随机梯度下降中,momentum的理解

Optimization: Stochastic Gradient Descent

6.【机器学习】神经网络-激活函数-面面观(Activation Function)

7.ReLu(Rectified Linear Units)激活函数总结