AI 前馈神经网络

时间:2023-11-22 18:13:50

前馈神经网络(Feedforward Neural Network,简称FNN),也叫多层感知机(Multilayer Perceptron,简称MLP)。FNN的目标是通过学习参数θ,得到最佳的函数y=f(x;θ),例如分类器,输入x,输出类别y。

1、前馈

也叫前向,信息单向流动,从输入层到隐藏层(hidden layer),再从隐藏层到输出层,不存在从下一层到上一层的反向流动。有反馈(feedback)连接的叫做循环神经网络。卷积神经网络是一种特殊的前馈神经网络。 

2、反向传播(back propagation)

简称backprop,计算梯度

计算图(computational graph)

前向传播(forward propagation)

激活函数(activation function)

sigmoid函数

AI 前馈神经网络

AI 前馈神经网络

softmax函数

ReLU(rectified linear unit),整流线性单元

AI 前馈神经网络

全连接

超平面

权值矩阵

高阶微分

隐藏单元

Krylov方法

参考链接:

https://www.zhihu.com/question/22334626

http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

http://xiaosheng.me/2017/05/05/article56/

https://zhuanlan.zhihu.com/p/45190898