卷积

为了减少网络的复杂度，增加一个滑动的矩阵小窗口，比如minist数据集输入是28x28=784，也就是说除输入层外，其他层的每个节点与上层都有784条权重连线，而增加一个3x3的滑动窗口后，连线就变成了9，这样大大减少了参数量。这里使用了信号中的卷积运算，即对应元素相乘再累加，因此3x3的滑动窗口被称为卷积核，进行的运行叫卷积运算。


上图是爱因斯坦头像，如果使用全连接，那么参数量是$10^{12}$，而使用10x10的卷积运算后，参数量降到了100M。