MLDS笔记:浅层结构 vs 深层结构

时间:2024-01-22 21:54:41

深度学习出现之前,机器学习方面的开发者通常需要仔细地设计特征、设计算法,且他们在理论上常能够得知这样设计的实际表现如何;
深度学习出现后,开发者常先尝试实验,有时候实验结果常与直觉相矛盾,实验后再找出出现这个结果的原因进行分析。

0 绪论

给定一个网络结构(层数以及每层的神经元个数),根据参数取不同的值形成不同的函数。换句话说,给定了一个网络结构,即定义了一个函数集合。
给定一个目标函数\(f(x)=2(2\cos^2(x)-1)^2-1\),现在想用一个神经网络来拟合这个函数(根据目标函数采集对应的多组\((x,y=f(x))\)对形成训练数据来训练神经网络)。
图0-1
从图0-1中可以看出,随着神经元个数/参数数目(参数数目与神经元个数成正比)的增多,拟合的效果越来越好。
从横向看,达到同样的拟合效果,越深的网络结构需要参数的数目越少;
从纵向看,同样的参数数目下,越深的网络结构达到的拟合效果越好。

接下来假设输入X为标量,且取值属于[0,1],输出Y也为标量,隐藏层激活函数均为ReLU。
图0-2
如图0-2所示,接下来只讨论3个主要的问题:1.浅层结构能够拟合任意函数吗?2.为什么需要深层结构呢?3.浅层结构和深层结构的区别是什么?
至于优化问题不讨论,即只要函数集能够覆盖目标函数,我们就假设能够拟合,不管选择的优化方法之间的区别;
至于泛化问题也不讨论,即只考虑基于训练集数据上表现的拟合,不考虑测试集上的表现。

1 浅层结构能够拟合任意函数吗?

答案是能,只要增加神经元个数,最终一定可以拟合目标函数。
给定一个浅层网络结构(只有一层隐藏层),隐藏层的激活函数为ReLU,以及线性输出层。
图1-1
如图1-1所示,很明显,这个浅层网络定义了一个分段线性函数集合。
现给定一个满足L-Lipschitz条件的目标函数\(f^\ast\),需要多少个神经元才能够拟合这个目标函数呢?
什么是L-Lipschitz?
图1-2
如图1-2所示,即因变量变化的绝对值不超过自变量变化的绝对值的L倍。显然, 图1-2中蓝色线段不满足1-Lipschitz条件。

1.1 如何保证拟合?

图1.1-1
当然,最大误差不超过\(\epsilon\)也可以改为两条曲线在[0,1]间面积不超过\(\epsilon\)
图1.1-2
图1.1-3
如图1.1-3所示,满足图1.1-2中蓝色方框里上面的条件的话,下面的条件也会自动被满足。
所以现在的问题是使用\(N(k)\)这个分段线性函数集合中的某个函数\(f\)来拟合目标函数\(f^\ast\),那么\(f\)是如何分段使得最大误差不超过\(\epsilon\)的呢?

1.2 如何定义满足条件的分段?

假设每段的长度都是\(l\)
图1.2-1
如图1.2-1所示,因为最大误差点和分段点之间的距离是不超过\(l\)的,任意两点间的斜率又是不超过\(L\)的,所以最大误差不超过\(l{\times}L\)
所以可以通过使得\(l{\times}L\le\epsilon\)来保证最大误差不超过\(\epsilon\),则\(l\le\frac{\epsilon}{L}\),即至少要分\(\frac{L}{\epsilon}\)段。

1.3 如何实现这样的分段?

通过多个神经元结果的叠加。
图1.3-1
图1.3-2
绿线可以由蓝线叠加生成,每条蓝线需要2个神经元结果叠加形成。
图1.3-3
所以,要分成\(\frac{L}{\epsilon}\)段可以通过使用\(\frac{2L}{\epsilon}\)个神经元来实现。
需要注意的是,这里是指需要这么多个神经元可以做到这样的分段方式,并没有指这样子做是最有效率的做法。
当L取任意值时,浅层网络结构可以通过调整神经元个数来拟合对应的目标函数,可见浅层结构可以拟合任意函数,那么为什么需要深层结构呢?

2 为什么需要深层结构?

虽然浅层结构可以拟合任何function,但其所需神经元个数可能为\(O(\frac{L}{\epsilon})\),深层结构的使用可以使其变得更有效率。
举例说,任何演算法都可以用2行程式写出来。如排序,穷举所有排序前可能的字符串作为key,其对应的排序结果作为value构建查询表。
程式第1行根据给定输入查表得对应索引,程式第2行输出该索引对应的value值作为最终的结果。------2步对应shallow
但是,在实际实现排序时,我们并不会这样做,会进行更多的其他步骤,为了实现上更有效率。------多步对应deep

上面已经讨论过,ReLU网络(激活函数均为ReLU的网络结构)可以表示分段线性函数。
在差不多数目的参数下,深且窄的ReLU网络比起浅且宽的ReLU网络能实现更多的分段。

2.1 线性分段数的上界是多少?

图2.1-1
定义神经元个数为\(N\),对应的最大激活模式为\(2^N\)种,每一种激活模式对应一个线性分段,所以最大线性分段数为\(2^N\)个。
图2.1-2
但是,不是所有的分段方式都是会出现的。比如图2.1-2中2个神经元,最多只会出现3个分段。

2.2 线性分段数的下界是多少?

绝对值激活函数
图2.2-1
如图2.2-1所示,可以用2个ReLU神经元实现绝对值激活函数功能。
图2.2-2
图2.2-3
绝对值激活函数进行深度上的堆积,每次多加一个节点,分段数变为原来的2倍。
图2.2-4
从图2.2-4中可以看出,对于浅层网络结构,每次多加一个节点(宽度方向上),分段数加1;对于深层网络结构,每次多加一个节点(深度方向上),分段数乘以2。
当网络结构宽度为K、深度为H时,我们至少可以有\(K^H\)个分段数。
可见深度对于分段数的影响要明显高于宽度,因为深度方向的堆积使得同样的pattern可以被反复利用。
下图的实验结果验证了上述观点,同时显现较低层参数对于网络的表现有更大的影响。
图2.2-5
图2.2-6

2.3 深层结构可以比浅层结构好多少?

图2.3-1
图2.3-2
如上图所证,拟合函数\(f(x)=x^2\)时,shallow网络结构所需的神经元个数为\(O(\frac{1}{\sqrt{\epsilon}})\)
图2.3-3
图2.3-4
如上图所证,拟合函数\(f(x)=x^2\)时,deep网络结构所需神经元个数为\(O(log_2\frac{1}{\sqrt{\epsilon}})\)
函数\(y=x^2\)是否具有一般性?
可以用拟合函数\(y=x^2\)的网络结构作为square net去形成multiply net继而形成polynomial net,就可以用这个多项式网络去拟合其他连续函数了。

图2.3-6

2.4 深层结构确实优于浅层结构吗?

目前证明这一点的力量还不足够,因为上述讨论都是基于存在的某种状态,并不清楚这种状态是否是最佳状态。
图2.4-1

3 深层结构优于浅层结构吗?

为了求得浅层网络在竭尽全力的状态下拟合函数\(f(x)=x^2\)所需的神经元个数,可以放宽各种条件。
首先,假设相邻黑线之间的头尾无需相接。
图3-1
如图3-1所示,左边是可以用ReLU实现的,右边没法通过ReLU实现。因为ReLU无法生成非连续的线。
先假设右边可以实现,因为其对应的error明显更小,称这种状态为梦幻状态。
再来,原来拟合的条件是最大error不超过\(\epsilon\),满足该条件一定满足面积的近似不超过error的条件,但满足后者不一定满足前者。
现放宽限制条件,变为面积的近似不超过error就好。
现在考虑给定一个分段,最小的error是多少呢?
答案是\(\frac{l^5}{180}\),证明思路如图3-3所示。
图3-2
图3-3
如果分段数确定为n,如何分段使得error最小呢?
直觉是等分n段,证明可以参考图3-5。
图3-4
图3-5
图3-6
图3-7
即使浅层网络结构竭尽全力,其所需的神经元个数还是\(O(\frac{1}{\sqrt{\epsilon}})\),而深层网络结构在随意设计的某种状态下所需的神经元个数为\(O(log_2\frac{1}{\sqrt{\epsilon}})\)
可见,深层网络结构确实好于浅层网络结构,且好的程度是指数级的。

4 更多相关理论

图4-1
图4-2
图4-3
图4-4
图4-5

\(\underline{总之,当目标函数满足某种最低复杂度要求时,使用深层网络结构是优于浅层网络结构的,且优于的程度是指数级别的。 因为实际问题中遇到的问题常较为复杂,所以使用深层结构往往更有效。}\)

posted on 2018-04-30 21:14 cherrychenlee 阅读(...) 评论(...) 编辑 收藏