卷积的数学意义及信号学应用 卷积神经网络(CNN)之一维卷积、二维卷积、三维卷积详解

时间:2024-03-05 19:05:46

1、卷积的数学意义

   从数学上讲,卷积与加减乘除一样是一种运算,其运算的根本操作是将两个函数的其中一个先平移,然后再与另一个函数相称后的累加和。这个运算过程中,因为涉及到积分、级数的操作,所以看起来很复杂。在卷积(转自wiki百科)中已经讲过了卷积的定义如下所示:

对于定义在连续域的函数,卷积定义为

 (f * g )(t) = \int f(\tau) g(t - \tau)\, d\tau

 

对于定义在离散域的函数,卷积定义为

(f * g)[m] = \sum_n {f[n] g[m - n]}

  这里令U(x,y) = f(x)g(y) ,考虑到函数 f 和 g 应该地位平等,即变量 x 和 y 应该地位平等,一种可取的办法就是沿直线 x+y = t将U(x,y)卷起来。下面为t取实际值的时候的坐标图,可以看到不同取值的t可以遍历整个平面。

  将x+y=t中t取一次定值(这个定值可能是我们想要知道的某时刻的结果或着某种特征,由我们赋值),代入到U(x,y)中,就相当于U(x,y)所在平面沿着x+y=t直线做一次旋转如下列动图所示:

  这里便是完成了整个卷积的降维过程,完成降维过程后,U(x,y)也就从一个二元函数 U(x,y) = f(x)g(y) 被卷成一元函数 V(x)=f(x)g(t-x),最后再对x求积分(即遍历降维后的轴上的特征点之和)。

2、卷积的C语言编写

  编写卷积的程序,需要根据其离散方程组来进行了解。前面已经知道了卷积的离散函数的定义公式为:

(f * g)[m] = \sum_n {f[n] g[m - n]}

  

在用C语言等其他语言进行实现是可以采用定义,利用两个for循环完成代码。 

  根据离散公式,可以编写如下C++代码:

#include "stdafx.h"
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <iostream>

using namespace std;
float min(float a, float b)
{
	return a < b ? a : b;
}
void convolution(float *input1, float *input2, float *output, int mm, int nn)
{
	float *xx = new float[mm + nn - 1];
	float *tempinput2 = new float[mm + nn - 1];
	for (int i = 0; i < nn; i++)
	{
		tempinput2[i] = input2[i];
	}
	for (int i = nn; i < mm + nn - 1; i++)
	{
		tempinput2[i] = 0.0;
	}
	// do convolution 
	for (int i = 0; i < mm + nn - 1; i++)
	{
		xx[i] = 0.0;
		int tem = (min(i, mm)) == mm ? mm - 1 : min(i, mm);
		for (int j = 0; j <= tem; j++)
		{
			xx[i] += (input1[j] * tempinput2[i - j]);
		}
	}
	// set value to the output array 
	for (int i = 0; i < mm + nn - 1; i++)
		output[i] = xx[i];
		delete[] xx;
}

int main()
{
	float a[3] = {2,6,4 };
	float b[5] = {1,2,5,4,8};
	float *c = new float[9];
	convolution(a, b, c, 3, 5);
	for (int i = 0; i < 7; i++)
	{
		cout << c[i] << " ";
	}
	getchar();
	return 0;
}

  

  运行结果如上图所示,打开matlab进行验证有:

 

卷积的列表法计算 :

 

如图所示:斜线上数据相加,便是卷积结果;该方法适合用于并行计算求卷积。

 

 

3、卷积的分类

  

1. 二维卷积

  • 图中的输入的数据维度为14×1414×14,过滤器大小为5×55×5,二者做卷积,输出的数据维度为10×1010×10(145+1=1014−5+1=10)。如果你对卷积维度的计算不清楚,可以参考我之前的博客吴恩达深度学习笔记(deeplearning.ai)之卷积神经网络(CNN)(上)

  • 上述内容没有引入channel的概念,也可以说channel的数量为1。如果将二维卷积中输入的channel的数量变为3,即输入的数据维度变为(14×14×314×14×3)。由于卷积操作中过滤器的channel数量必须与输入数据的channel数量相同,过滤器大小也变为5×5×35×5×3。在卷积的过程中,过滤器与数据在channel方向分别卷积,之后将卷积后的数值相加,即执行10×1010×10次3个数值相加的操作,最终输出的数据维度为10×1010×10。

  • 以上都是在过滤器数量为1的情况下所进行的讨论。如果将过滤器的数量增加至16,即16个大小为10×10×310×10×3的过滤器,最终输出的数据维度就变为10×10×1610×10×16。可以理解为分别执行每个过滤器的卷积操作,最后将每个卷积的输出在第三个维度(channel 维度)上进行拼接。

  • 二维卷积常用于计算机视觉、图像处理领域。

2. 一维卷积

  • 图中的输入的数据维度为8,过滤器的维度为5。与二维卷积类似,卷积后输出的数据维度为85+1=48−5+1=4。

  • 如果过滤器数量仍为1,输入数据的channel数量变为16,即输入数据维度为8×168×16。这里channel的概念相当于自然语言处理中的embedding,而该输入数据代表8个单词,其中每个单词的词向量维度大小为16。在这种情况下,过滤器的维度由55变为5×165×16,最终输出的数据维度仍为44。

  • 如果过滤器数量为nn,那么输出的数据维度就变为4×n4×n。

  • 一维卷积常用于序列模型,自然语言处理领域。

3. 三维卷积

这里采用代数的方式对三维卷积进行介绍,具体思想与一维卷积、二维卷积相同。

  • 假设输入数据的大小为a1×a2×a3a1×a2×a3,channel数为cc,过滤器大小为ff,即过滤器维度为f×f×f×cf×f×f×c(一般不写channel的维度),过滤器数量为nn。

  • 基于上述情况,三维卷积最终的输出为(a1f+1)×(a2f+1)×(a3f+1)×n(a1−f+1)×(a2−f+1)×(a3−f+1)×n。该公式对于一维卷积、二维卷积仍然有效,只有去掉不相干的输入数据维度就行。

  • 三维卷积常用于医学领域(CT影响),视频处理领域(检测动作及人物行为)。

 

 

4、卷积的信号学应用

打个比方,往平静的水面里面扔石头。我们把水面的反应看作是一种冲击响应。水面在t=0时刻石头丢进去的时候会激起高度为h(0)的波纹,但水面不会立马归于平静,随着时间的流逝,波纹幅度会越来越小,在t=1时刻,幅度衰减为h(1), 在t=2时刻,幅度衰减为h(2)……直到一段时间后,水面重复归于平静。

从时间轴上来看,我们只在t=0时刻丢了一块石头,其它时刻并没有做任何事,但在t=1,2….时刻,水面是不平静的,这是因为过去(t=0时刻)的作用一直持续到了现在。

那么,问题来了:

如果我们在t=1时刻也丢入一块石子呢?此时t=0时刻的影响还没有消失(水面还没有恢复平静)新的石子又丢进来了,那么现在激起的波浪有多高呢?答案是当前激起的波浪与t=0时刻残余的影响的叠加。那么t=0时刻对t=1时刻的残余影响有多大呢?


为了便于说明,接下来我们作一下两个假设:

1. 水面对于“单位石块”的响应是固定的

2. 丢一个两倍于的“单位石块”的石块激起的波纹高度是丢一个石块的两倍(即系统满足线性叠加原理)

现在我们来计算每一时刻的波浪有多高:

  • t=0时刻:

y(0)=x(0)*h(0);

  • t=1时刻:

当前石块引起的影响x(1)*h(0);

t=0时刻石块x(0)引起的残余影响x(0)*h(1);

y(1)=x(1)*h(0)+ x(0)*h(1);

  • t=2时刻:

当前石块引起的影响x(2)*h(0);

t=0时刻石块x(0)引起的残余影响x(0)*h(2);

t=1时刻石块x(1)引起的残余影响x(1)*h(1);

y(2)=x(2)*h(0)+ x(1)*h(1)+x(0)*h(2);

……

  • t=N时刻:

当前石块引起的影响x(N)*h(0);

t=0时刻石块x(0)引起的残余影响x(0)*h(N);

t=1时刻石块x(1)引起的残余影响x(1)*h(N-1);

y(N)=x(N)*h(0)+ x(N-1)*h(1)+x(N-2)*h(2)+…+x(0)*h(N);

这就是离散卷积的公式了

理解了上面的问题,下面我们来看看“翻转”是怎么回事:

当我们每次要丢石子时,站在当前的时间点,系统的对我们的回应都是h(0),时间轴之后的(h(1),h(2).....)都是对未来的影响。而整体的回应要加上过去对于现在的残余影响。

现在我们来观察t=4这个时刻。

站在t=0时刻看他对于未来(t=4)时刻(从现在往后4秒)的影响,可见是x(0)*h(4)

站在t=1时刻看他对于未来(t=4)时刻的影响(从现在往后3秒),可见是x(1)*h(3)

站在t=2时刻看他对于未来(t=4)时刻的影响(从现在往后2秒),可见是x(2)*h(2)

站在t=3时刻看他对于未来(t=4)时刻的影响(从现在往后1秒),可见是x(3)*h(1)

所以所谓的翻转只是因为你站立的现在是过去的未来,而因为h(t)始终不变,故h(1)其实是前一秒的h(1),而前一秒的h(1)就是现在,所以从当前x(4)的角度往左看,你看到的是过去的作用。h(t)未翻转前,当从h(0)往右看,你看到的是现在对于未来的影响,当翻转h(t)之后,从h(0)往左看,你依次看到的越来越远的过去对现在的影响,而这个影响,与从x=4向左看的作用影响相对应(都是越来越远的过去),作用与作用的响应就对应起来了,这一切的本质,是因为你站立的时间观察点和方向在变。

   

 5、卷积的图像处理原理

    一幅图像在生成的过程中,会随机产生一些噪点,如下图所示:

 

  噪点在图片中,就相当于在平地上耸起的山峰,是一个与其他数据不符的一个较大值。

     

 

   我们可以通过卷积操作将噪点通过滤波给滤掉,首先,将图片用矩阵表示出来。

  然后通过下面的核来进行滤波(这个在后面的文章中将会详细讲到,原理与卷积在信号处理中的应用一样)

  经过如下的卷积运算

  就可以完成在图片上的平均滤波的效果了,通过卷积滤波后的效果如下所示:

 

 

 

 

 

 

参考资料

卷积为什么叫「卷」积?

如何通俗易懂地解释卷积?

在定义卷积时为什么要对其中一个函数进行翻转?

Matlab中fileter和conv的区别及卷积的计算方法

卷积C语言实现