深度学习的数学
https://www.ituring.com.cn/book/2593
感悟：从数学角度来理解深度学习并不复杂，也可以说作者讲解得让人很容易理解，涉及到的数学知识有函数、数列、向量、矩阵、求偏导、链式法则、多变量函数的近似公式、梯度下降法、误差反向传播、卷积等概念。这里主要针对几个手工实例进行操作复习。
目录
2-11梯度下降法
题目
对于函数试用梯度下降法求出使得函数取得最小值的x和y值。
1.初始设定
2.计算位移向量
3.更新位置
4.反复执行2~3的操作
3-5 NN（求解器）
用Excel表确定权重和偏置。
1.读入学习用的图像数据
以下图为例
将图像数据全部放在计算用的工作表上，如下图所示。
未截图完整，共60张。
2.设置权重和偏置的初始值
初始值的设置使用服从标准正态分布的正态分布随机数，如图
w和b分别为隐藏层的权重和偏置，也即为所求。
3.从第一张图像开始计算各个神经单元的加权输入、输出、平方误差
加权输入z、输出、平方误差C
计算z
输出层
平方误差C
4.对全部数据复制3中建立的函数的值
将函数复制到所有图像实例上，求出代价函数CT的值。
CT为18.347
5.利用求解器执行最优化
求解器（文件》选项》加载项》规划求解器》转到，即可在数据栏最后查看）
结果
执行测试
4-4 NN（误差反向传播法）
试用Excel确认误差反向传播算法确定它的权重和偏执。
5-4 CNN（求解器）
5-6 CNN（误差反向传播法）
附录A
附录B