机器学习笔记06:神经网络的表示(Neural Networks-Representation)

时间:2022-12-25 16:13:07

神经网络(Neural Networks)其实是一个很古老的想法,在提出来之后,沉寂了很长一段时间。而现在,神经网络是许多机器学习问题的首选算法。


文章内的所有图片均属于Stanford机器学习课程,转载请注明出处


一、神经网络的表示(The Representation for Neural Networks)

1、运用神经网络的动机(Motivations)

非线性的假设函数(Non-linear Hypothesis)

之前已经学习了两个机器学习中常用的方法:线性回归逻辑回归。那为什么还需要神经网络这个东西呢。我们先来举一个监督学习中的分类问题的例子,假设有如下的训练集:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

我们的目的是进行分类,假若如图所示的训练集一样,只有两个特征 x1,x2 ,通过逻辑回归很容易就能得到一个决策边界:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

然而,当特征非常多的时候,我们必须用足够高次的项来保证假设函数的准确率,例如需要用100个特征来预测房价,且最高次项为6次,在逻辑回归中,假设函数为:
hθ(x)=g(θTX)=11+eθTX
其中
g(θTX)=g(θ0+θ1x1+θ2x2+...+θkx1x2+θk+1x1x3+...+θnx61+θn+1x62+...)
从上面这个式子可以看出,如果要用 梯度下降或者 Normal Equation方法来得到 θj 的值,势必需要巨大的计算量。就算只有100个特征,如果只用最高项为二次项的函数 g(x) ,也会有 C2100+201 θ 项。所以当遇到特征数很多的情况时,我们需要另外一种方法,也就是 神经网络(Neural Networks)

大脑和神经元(Brain and Neurons)

再来讲讲有关大脑的东西,根据一些神经科学家的研究实验发现,当一个感知器官的与对应的大脑皮层区域的连接被切断时,如果把这个感受器和另一个皮层区域连接起来,那么这个皮层区域将学会感知新的东西。举个例子:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

如上图,如果把听觉感受器和听觉皮层区域的连接切断,然后把听觉感受器和视觉皮层区域相连,则视觉皮层区域也能学会处理听到的东西。
再如:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

如果把触觉感受器和触觉皮层区域的连接切断,然后把触觉感受器和视觉皮层区域相连,则视觉皮层区域也能学会处理触觉。所以人们一直想要模仿人类的大脑来创造真正的AI,但是还处于初级的研究阶段,毕竟我们连大脑的机制都没完全搞清楚。

另外一个例子是用舌头来看东西:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

如图,头上戴的是一个图像接收器,类似摄像头,舌头上的一个电极阵列,高电压代表亮点,低电压代表暗点,这样通过舌头就能“看”东西了。

再回到神经网络算法,我们模拟大脑的目的就是让这种算法能够学习各种各样的事物,而不必某个特别的问题来设计一个对应的程序来解决问题。


2、神经网络(Neural Networks)

模型表示(Model Representation)

首先来看看,大脑中神经元的结构:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

理科生肯定都学过高中生物,图中左边的蓝色部分上的分杈叫做树突(Dendrite),它可以连接多个其他的神经元;细胞体中的绿色部分为细胞核;黄色部分为轴突(Axon);最右边为轴突末梢(Axon terminal),它可以和其他神经细胞的树突相连接。一个神经细胞可以和另一个神经细胞相连:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

如上图,一个神经元的轴突末梢能和另一个神经元的树突相连,而且树突可以和多个轴突末梢相连,多个神经元的复杂连接就形成了一个神经网络。当然,以上都属于神经科学的范畴,在机器学习中,最简单的神经网络(只有一个神经元)可以表示如下:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

其中,左边的 xj,j=1,2,3 表示 输入节点(输入值),右边的 hθ(x) 表示 输出,中间的橘黄色的节点表示 神经元体(Body of Neuron),输入节点与神经元体的连接线称为 输入连接线,神经元体和输出的连接线称为 输出连接线。当然也可以将 x0 画到图中:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

而在这里 x0 称为偏置单位(bias unit)。
需要注意的是,函数 hθ(x)=11+eθTX θ X 均和之前的回归问题中的相同。在神经网络中,我们将假设函数称作为 逻辑激活函数(Logistic Activation Function)

然而,一般的神经网络都不是像上面那样那么简单的。一般的神经网络表示如下:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

同样可以添加 x0 a(2)0 到上图中,因为它们始终等于1,所以省略掉了。其中,最左边的 Layer1 称为输入层,最右边的 Layer3 称为输出层,中间的 Layer2 称为隐藏层,至于为什么叫隐藏层,是因为我们在使用训练出的模型时,只会使用输入层和输出层,中间的计算过程对我们来说是隐藏的。另外,模型可有有很多层,除了输入层和输出层外的其他层都成为隐藏层。

下面再来更加数学化地描述这个模型,还是以上面那张图为例,有如下记法:

notation representation
a(j)i “activation” of unit i in layer j
Θj matrix of weights controlling function mapping from layer j to layer j+1


其中,activation 表示层(Layer)中的一个单位(Unit)的激励。 Θj 是一个映射向量。在第一层中加入 x0 ,我们可以将神经网络图中Layer1 和 Layer2 的关系表示如下:

a(2)1=g(Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3)
a(2)2=g(Θ(1)20x0+Θ(1)21x1+Θ(1)22x2+Θ(1)23x3)
a(2)3=g(Θ(1)30x0+Θ(1)31x1+Θ(1)32x2+Θ(1)33x3)
添加 a(2)0 ,可以把 Layer2 和 Lyer3 的关系表示如下:
hΘ(x)=a(3)1=g(Θ(2)10a(2)0+Θ(2)11a(2)1+Θ(2)12a(2)2+Θ(2)13a(2)3)
可以看出:
Θ(1)R3×4,Θ(2)R1×4
通常,在网络中,若层 j 含有 Sj 个单元,层 j+1 含有 Sj+1 个单元,则 Θ(1) 的维度为 Sj+1×(Sj+1)


前向传播(Forward propagation)

前面提到了层(Layers)之间的关系式,现在来向量化计算过程:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

我们令 a(j)i=g(z(j)i) ,例如:
z(2)1=Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3
再令:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

z(2)=Θ(1)x ,为了统一,我们可以把向量 x a(1) 表示,所以 a(2)=g(z(2)) ,我们在 Layer2 中加上第零项 a(2)0 ,则 z(3)=Θ(2)a(2) ,最后 hΘ(x)=a(3)=g(z(3)) 。所以,在整个计算过程中,每一个激励单元 a(j)i 都会由前面的激励单元产生,最后生成最终结果,这个过程叫做 前向传播(Forward propagation)。而在传播的过程中,每一层都是根据上一层的激励产生的新特征。不仅是3层,还可以使用更多层来生成更复杂的假设函数 hΘ(x)
机器学习笔记06:神经网络的表示(Neural Networks-Representation)


3、应用(Applications)

例一:实现与或非等逻辑功能

神经网络的应用很广泛,但是对于初学者来说,那就比较复杂了。来举一个二进制分类的例子,训练集如下图:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

我们要求 x1 2 的亦或(XOR),红色的×表示结果为0,蓝色的圈表示结果为1,为了简单起见,把图简化成下面这样:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

可以看到,当 x1x2=00 x1x2=11 时,输出为0,当 x1x2=10 x1x2=01 时,输出为 1 可以看到上面那条蓝色的线为一条 异或决策边界。


1.与(AND)
那如果要实现与(AND)功能的话,我们可以通过神经网络来对输入进行处理以得到想要的结果:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

如上图,其中 +1 为偏置单元, x1,x2{0,1} ,输出 y=x1 AND x2 ,我们令
Θ(1)=302020
hΘ(x)=g(30+20x1+20x2)
其中函数 g(z) 和逻辑回归中一样,其图像如下:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

下面我们就来列一个真值表:

x1 x2 hΘ(x)
0 0 g(30)0
0 1 g(10)0
1 0 g(10)0
1 1 g(10)1


由此看累,上面就是一个实现与(AND)功能的神经网络。


2.或(OR)
要实现或(OR)功能,我们需要如下的神经网络:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

其中
Θ(1)=102020
所以假设函数为
hΘ(x)=g(10+20x1+20x2)
其真值表如下:

x1 x2 hΘ(x)
0 0 g(10)0
0 1 g(10)1
1 0 g(10)1
1 1 g(30)1


可以看出,上面的神经网络实现了或(OR)功能。


3.非(NOT)

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

4.实现XNOR(NOT XOR)
我们之前已经得到了与或非三个神经网络,下面左边是与,右边是或,中间为(NOT x1 ) AND (NOT x2 ),即当 x1=x2=0 输出才为1:

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

现在只需要将他们组合起来,如下:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

我们就可以得到如下真值表:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

可以看到,最终的 hΘ(x) 输出的即是 x1 x2 异或之后再取非的结果。所以,我们可以用复杂的多层神经网络来实现复杂的分类等问题。


例二:多类分类

最后是一个计算机视觉的分类问题,我们要使用神经网络来判断一个物体是行人(Pedestrian)、小汽车(Car)、摩托车(Motorcycle)还是卡车(Trunk):

机器学习笔记06:神经网络的表示(Neural Networks-Representation)

这个神经网络的输出如图下方,应该为一个四维的列向量。
另外需要注意的是,对于这种多类的分类问题,训练集应该符合下面的要求:
机器学习笔记06:神经网络的表示(Neural Networks-Representation)

不仅 y(i) 要为四维的向量,输入 x(i) 也要为四维的向量。


好了,这篇文章大概得描述了一下神经网络是怎么工作的。下一篇文章将会描述神经网络是具体怎么学习的(完成后会放上链接)。


上面就是神经网络的一个大概的介绍,希望能帮助到大家。
如有错误,期望您能纠正,留言或者加入QQ群

——–转载请注明出处——–