网页制作与网站建设技术大全 下载,常用的软件开发平台,a5建站,网站推广公司兴田德润电话多少前言
在全连接层构成的多层感知机网络中#xff0c;我们要通过将图像数据展平成一维向量来送入模型#xff0c;但这会忽略了每个图像的空间结构信息。理想的策略应该是要利用相近像素之间的相互关联性#xff0c;将图像数据二维矩阵送给模型中学习。
卷积神经网络(convolu…前言
在全连接层构成的多层感知机网络中我们要通过将图像数据展平成一维向量来送入模型但这会忽略了每个图像的空间结构信息。理想的策略应该是要利用相近像素之间的相互关联性将图像数据二维矩阵送给模型中学习。
卷积神经网络(convolutional neural networkCNN)正是一类强大的、专为处理图像数据多维矩阵而设计的神经网络CNN 的设计是深度学习中的一个里程碑式的技术。在 Transformer 应用到 CV 领域之前基于卷积神经网络架构的模型在计算机视觉领域中占主导地位几乎所有的图像识别、目标检测、语义分割、3D目标检测、视频理解等任务都是以 CNN 方法为基础。
卷积神经网络核心网络层是卷积层其使用了卷积(convolution)这种数学运算卷积是一种特殊的线性运算。另外通常来说卷积神经网络中用到的卷积运算和其他领域(例如工程领域以及纯数学领域)中的定义并不完全一致。
一卷积
在理解卷积层之前我们首先得理解什么是卷积操作。
卷积与傅里叶变换有着密切的关系。例如两函数的傅里叶变换的乘积等于它们卷积后的傅里叶变换利用此一性质能简化傅里叶分析中的许多问题。 operation 视语境有时译作“操作”有时译作“运算”本文不做区分。 1.1卷积运算定义
为了给出卷积的定义 这里从现实世界会用到函数的例子出发。
假设我们正在用激光传感器追踪一艘宇宙飞船的位置。我们的激光传感器给出 一个单独的输出 x(t)x(t)x(t)表示宇宙飞船在时刻 ttt 的位置。xxx 和 ttt 都是实值的这意味着我们可以在任意时刻从传感器中读出飞船的位置。
现在假设我们的传感器受到一定程度的噪声干扰。为了得到飞船位置的低噪声估计我们对得到的测量结果进行平均。显然时间上越近的测量结果越相关所 以我们采用一种加权平均的方法对于最近的测量结果赋予更高的权重。我们可以采用一个加权函数 w(a)w(a)w(a) 来实现其中 aaa 表示测量结果距当前时刻的时间间隔。如果我们对任意时刻都采用这种加权平均的操作就得到了一个新的对于飞船位置的平滑估计函数 sss : s(t)∫x(a)w(t−a)das(t) \int x(a)w(t-a )da s(t)∫x(a)w(t−a)da 这种运算就叫做卷积convolution。更一般的卷积运算的数学公式定义如下 连续定义:h(x)(f∗g)(x)∫−∞∞f(t)g(x−t)dt(1)连续定义: \; h(x)(f*g)(x) \int_{-\infty}^{\infty} f(t)g(x-t)dt \tag{1} 连续定义:h(x)(f∗g)(x)∫−∞∞f(t)g(x−t)dt(1)
离散定义:h(x)(f∗g)(x)∑t−∞∞f(t)g(x−t)(2)离散定义: \; h(x) (f*g)(x) \sum^{\infty}_{t-\infty} f(t)g(x-t) \tag{2} 离散定义:h(x)(f∗g)(x)t−∞∑∞f(t)g(x−t)(2)
以上卷积计算公式可以这样理解:
先对函数 g(t)g(t)g(t) 进行反转reverse相当于在数轴上把 g(t)g(t)g(t) 函数从右边褶到左边去也就是卷积的“卷”的由来。然后再把 g(t)g(t)g(t) 函数向左平移 xxx 个单位在这个位置对两个函数的对应点相乘然后相加这个过程是卷积的“积”的过程。
1.2卷积的意义
对卷积这个名词可以这样理解所谓两个函数的卷积f∗gf*gf∗g本质上就是先将一个函数翻转然后进行滑动叠加。在连续情况下叠加指的是对两个函数的乘积求积分在离散情况下就是加权求和为简单起见就统一称为叠加。
因此卷积运算整体来看就是这么一个过程:
翻转—滑动—叠加—滑动—叠加—滑动—叠加…
多次滑动得到的一系列叠加值构成了卷积函数。 这里多次滑动过程对应的是 ttt 的变化过程。 那么卷积的意义是什么呢可以从卷积的典型应用场景-图像处理来理解
为什么要进行“卷”进行“卷”翻转的目的其实是施加一种约束它指定了在“积”的时候以什么为参照。在空间分析的场景它指定了在哪个位置的周边进行累积处理。在图像处理的中卷积处理的结果其实就是把每个像素周边的甚至是整个图像的像素都考虑进来对当前像素进行某种加权处理。因此“积”是全局概念或者说是一种“混合”把两个函数进行时间信号分析或空间图像处理上进行混合。 卷积意义的理解来自知乎问答有所删减和优化。 1.3从实例理解卷积
一维卷积的实例有 “丢骰子” 等经典实例这里不做展开描述本文从二维卷积用于图像处理的实例来理解。
一般数字图像可以表示为如下所示矩阵 本节图片摘自知乎用户马同学的文章。 而卷积核 ggg 也可以用一个矩阵来表示如: g[b−1,−1b−1,0b−1,1b0,−1b0,0b0,1b1,−1b1,0b1,1]g \begin{bmatrix} b_{-1,-1} b_{-1,0} b_{-1,1} \\ b_{0,-1} b_{0,0} b_{0,1} \\ b_{1,-1} b_{1,0} b_{1,1} \end{bmatrix} gb−1,−1b0,−1b1,−1b−1,0b0,0b1,0b−1,1b0,1b1,1 按照卷积公式的定义则目标图片的第 (u,v)(u, v)(u,v) 个像素的二维卷积值为 (f∗g)(u,v)∑i∑jf(i,j)g(u−i,v−j)∑i∑jai,jbu−i,v−j(f * g)(u, v)\sum_{i} \sum_{j} f(i, j)g(u-i, v-j)\sum_{i} \sum_{j} a_{i,j} b_{u-i,v-j} (f∗g)(u,v)i∑j∑f(i,j)g(u−i,v−j)i∑j∑ai,jbu−i,v−j 展开来分析二维卷积计算过程就是首先得到原始图像矩阵中 (u,v)(u, v)(u,v) 处的矩阵 f[au−1,v−1au−1,vau−1,v1au,v−1au,vau,v1au1,v−1au1,vau1,v1]f\begin{bmatrix} a_{u-1,v-1} a_{u-1,v} a_{u-1,v1}\\ a_{u,v-1} a_{u,v} a_{u,v1} \\ a_{u1,v-1} a_{u1,v} a_{u1,v1} \end{bmatrix} fau−1,v−1au,v−1au1,v−1au−1,vau,vau1,vau−1,v1au,v1au1,v1 然后将图像处理矩阵翻转两种方法结果等效如先沿 xxx 轴翻转再沿 yyy 轴翻转相当于将矩阵 ggg 旋转 180 度 g[b−1,−1b−1,0b−1,1b0,−1b0,0b0,1b1,−1b1,0b1,1][b1,−1b1,0b1,1b0,−1b0,0b0,1b−1,−1b−1,0b−1,1][b1,1b1,0b1,−1b0,1b0,0b0,−1b−1,1b−1,0b−1,−1]g′\begin{aligned} g \begin{bmatrix} b_{-1,-1} b_{-1,0} b_{-1,1}\\ b_{0,-1} b_{0,0} b_{0,1} \\ b_{1,-1} b_{1,0} b_{1,1} \end{bmatrix} \begin{bmatrix} b_{1,-1} b_{1,0} b_{1,1}\\ b_{0,-1} b_{0,0} b_{0,1} \\ b_{-1,-1} b_{-1,0} b_{-1,1} \end{bmatrix} \\ \begin{bmatrix} b_{1,1} b_{1,0} b_{1,-1}\\ b_{0,1} b_{0,0} b_{0,-1} \\ b_{-1,1} b_{-1,0} b_{-1,-1} \end{bmatrix} g^{} \end{aligned} gb−1,−1b0,−1b1,−1b−1,0b0,0b1,0b−1,1b0,1b1,1b1,−1b0,−1b−1,−1b1,0b0,0b−1,0b1,1b0,1b−1,1b1,1b0,1b−1,1b1,0b0,0b−1,0b1,−1b0,−1b−1,−1g′ 最后计算卷积时就可以用 fff 和 g′g′g′ 的内积 f∗g(u,v)au−1,v−1×b1,1au−1,v×b1,0au−1,v1×b1,−1au,v−1×b0,1au,v×b0,0au,v1×b0,−1au1,v−1×b−1,1au1,v×b−1,0au1,v1×b−1,−1\begin{aligned} f * g(u,v) a_{u-1,v-1} \times b_{1,1} a_{u-1,v} \times b_{1,0} a_{u-1,v1} \times b_{1,-1} \\ a_{u,v-1} \times b_{0,1} a_{u,v} \times b_{0,0} a_{u,v1} \times b_{0,-1} \\ a_{u1,v-1} \times b_{-1,1} a_{u1,v} \times b_{-1,0} a_{u1,v1} \times b_{-1,-1} \end{aligned} f∗g(u,v)au−1,v−1×b1,1au−1,v×b1,0au−1,v1×b1,−1au,v−1×b0,1au,v×b0,0au,v1×b0,−1au1,v−1×b−1,1au1,v×b−1,0au1,v1×b−1,−1
计算过程可视化如下动图所示注意动图给出的是 ggg 不是 g′gg′。 以上公式有一个特点做乘法的两个对应变量 a,ba, ba,b 的下标之和都是 (u,v)(u,v)(u,v)其目的是对这种加权求和进行一种约束这也是要将矩阵 ggg 进行翻转的原因。上述计算比较麻烦实际计算的时候都是用翻转以后的矩阵直接求矩阵内积就可以了。
1.4图像卷积二维卷积
在机器学习和图像处理领域卷积的主要功能是在一个图像(或某种特征) 上滑动一个卷积核(即滤波器)通过卷积操作得到一组新的特征。一幅图像在经过卷积操作后得到结果称为特征映射(Feature Map)。如果把图像矩阵简写为 III把卷积核 Kernal 简写为 KKK则目标图片的第 (i,j)(i,j)(i,j) 个像素的卷积值为 h(i,j)(I∗K)(i,j)∑m∑nI(m,n)K(i−m,j−n)(3)h(i,j) (I*K)(i,j)\sum_m \sum_n I(m,n)K(i-m,j-n) \tag{3} h(i,j)(I∗K)(i,j)m∑n∑I(m,n)K(i−m,j−n)(3) 可以看出这和一维情况下的卷积公式 2 是一致的。因为卷积的可交换性我们也可以把公式 3 等价地写作 h(i,j)(I∗K)(i,j)∑m∑nI(i−m,j−n)K(m,n)(4)h(i,j) (I*K)(i,j)\sum_m \sum_n I(i-m,j-n)K(m,n) \tag{4} h(i,j)(I∗K)(i,j)m∑n∑I(i−m,j−n)K(m,n)(4) 通常下面的公式在机器学习库中实现更为简单因为 mmm 和 nnn 的有效取值范围相对较小。
卷积运算可交换性的出现是因为我们将核相对输入进行了翻转flip从 mmm 增 大的角度来看输入的索引在增大但是卷积核的索引在减小。我们将卷积核翻转的唯一目 的是实现可交换性。尽管可交换性在证明时很有用但在神经网络的应用中却不是一个重要的性质。相反许多神经网络库会实现一个互相关函数corresponding function它与卷积相同但没有翻转核 h(i,j)(I∗K)(i,j)∑m∑nI(im,jn)K(m,n)(5)h(i,j) (I*K)(i,j)\sum_m \sum_n I(im,jn)K(m,n) \tag{5} h(i,j)(I∗K)(i,j)m∑n∑I(im,jn)K(m,n)(5)
互相关函数的运算是两个序列滑动相乘两个序列都不翻转。卷积运算也是滑动相乘但是其中一个序列需要先翻转再相乘。
1.5互相关和卷积
互相关和卷积运算的关系可以通过下述公式理解 YW⊗Xrot180(W)∗X\begin{aligned} Y W\otimes X \\ \text{rot180}(W) * X \end{aligned} YW⊗Xrot180(W)∗X 其中 ⊗\otimes⊗ 表示互相关运算∗*∗ 表示卷积运算rot180(⋅)\text{rot180(⋅)}rot180(⋅) 表示旋转 180 度YYY 为输出矩阵。从上式可以看出互相关和卷积的区别仅仅在于卷积核是否进行翻转。因此互相关也可以称为不翻转卷积. 离散卷积可以看作矩阵的乘法然而这个矩阵的一些元素被限制为必须和另外一些元素相等。 在神经网络中使用卷积是为了进行特征抽取卷积核是否进行翻转和其特征抽取的能力无关特别是当卷积核是可学习的参数时因此卷积和互相关在能力上是等价的。事实上很多深度学习工具中卷积操作其实都是互相关操作用来减少一些不必要的操作或开销不反转 Kernal。
总的来说
我们实现的卷积操作不是原始数学含义的卷积而是工程上的卷积但一般也简称为卷积。在实现卷积操作时并不会反转卷积核。
二卷积层 在传统图像处理中线性空间滤波的原理实质上是指指图像 fff 与滤波器核 www 进行乘积之和卷积运算。核是一个矩阵其大小定义了运算的邻域其系数决定了该滤波器也称模板、窗口滤波器的性质并通过设计不同核系数卷积核来实现低通滤波平滑和高通滤波锐化功能因此我们可以认为卷积是利用某些设计好的参数组合卷积核去提取图像空域上相邻的信息。 2.1卷积层定义
在全连接前馈神经网络中如果第 lll 层有 MlM_lMl 个神经元第 l−1l-1l−1 层有 Ml−1M_{l-1}Ml−1 个 神经元连接边有 Ml×Ml−1M_{l}\times M_{l-1}Ml×Ml−1 个也就是权重矩阵有 Ml×Ml−1M_{l}\times M_{l-1}Ml×Ml−1 个参数。当 MlM_lMl 和 Ml−1M_{l-1}Ml−1 都很大时权重矩阵的参数就会非常多训练的效率也会非常低。
如果采用卷积来代替全连接第 lll 层的净输入 z(l)z^{(l)}z(l) 为第 l−1l-1l−1 层激活值 a(l−1)a^{(l−1)}a(l−1) 和卷积核 w(l)∈RKw^{(l)}\in \mathbb{R}^Kw(l)∈RK 的卷积即 z(l)w(l)⊗a(l−1)b(l)z^{(l)} w^{(l)}\otimes a^{(l−1)} b^{(l)} z(l)w(l)⊗a(l−1)b(l) 其中 b(l)∈Rb^{(l)}\in \mathbb{R}b(l)∈R 为可学习的偏置。 上述卷积层公式也可以写成这样的形式ZW∗AbZ W*AbZW∗Ab 根据卷积层的定义卷积层有两个很重要的性质:
局部连接在卷积层(假设是第 lll 层)中的每一个神经元都只和下一层(第 l−1l − 1l−1 层)中某个局部窗口内的神经元相连构成一个局部连接网络。权重共享作为参数的卷积核 w()w^{()}w(l) 对于第 lll 层的所有的神经元都是相同的。权重共享可以理解为一个卷积核只捕捉输入数据中的一种特定的局部特征.因此如果要提取多种特征就需要使用多个不同的卷积核。 总而言之卷积层的作用是提取一个局部区域的特征不同的卷积核滤波器相当于不同的特征提取器。为了提高卷积网络的表示能力可以在每一层使用多个不同的特征映射即增加卷积核滤波器的数量以更好地提取图像的特征。
2.2卷积层理解
前面章节内容中卷积的输出形状只取决于输入形状和卷积核的形状。而神经网络中的卷积层在卷积的标准定义基础上还引入了卷积核的滑动步长和零填充来增加卷积的多样性从而可以更灵活地进行特征抽取。
步长(Stride)指卷积核每次滑动的距离零填充(Zero Padding)在输入图像的边界填充元素(通常填充元素是0)
卷积层定义每个卷积核Kernel在输入矩阵上滑动并通过下述过程实现卷积计算:
在来自卷积核的元素和输入特征图子矩阵的元素之间进行乘法以获得输出感受野。然后将相乘的值与添加的偏差相加以获得输出矩阵中的值。
卷积层数值计算过程可视化如下图 1 所示 来源论文 Improvement of Damage Segmentation Based on Pixel-Level Data Balance Using VGG-Unet。 注意卷积层的输出 Feature map 的大小取决于输入的大小、Pad 数、卷积核大小和步长。在 Pytorch 框架中图片feature map经卷积 Conv2D 后输出大小计算公式如下⌊NW−F2PS1⌋\left \lfloor N \frac{W-F2P}{S}1 \right \rfloor⌊NSW−F2P1⌋。
其中 ⌊⌋\lfloor \rfloor⌊⌋ 是向下取整符号用于结果不是整数时进行向下取整Pytorch 的 Conv2d 卷积函数的默认参数 ceil_mode False即默认向下取整, dilation 1其他符号解释如下
输入图片大小 W×W默认输入尺寸为正方形Filter 大小 F×F步长 Spadding的像素数 P输出特征图大小 N×N
上图1侧重于解释数值计算过程而下图2则侧重于解释卷积层的五个核心概念的关系
输入 Input Channel卷积核组 WeightsBias过滤器 Filter卷积核 kernal输出 Feature Map 上图是三通道经过两组过滤器的卷积过程在这个例子中输入是三维数据 3×32×323\times 32 \times323×32×32经过权重参数尺寸为 2×3×5×52\times 3\times 5\times 52×3×5×5 的卷积层后输出为三维 2×28×282\times 28\times 282×28×28维数并没有变化只是每一维内部的尺寸有了变化一般都是要向更小的尺寸变化以便于简化计算。
假设三维卷积也叫滤波器尺寸为 (cin,k,k)(c_{in}, k, k)(cin,k,k)一共有 coutc_{out}cout 个滤波器即卷积层参数尺寸为 (cout,cin,k,k)(c_{out}, c_{in}, k, k)(cout,cin,k,k) 则标准卷积层有以下特点
输出的 feature map 的数量等于滤波器数量 coutc_{out}cout即卷积层参数值确定后feature map 的数量也确定而不是根据前向计算自动计算出来对于每个输出都有一个对应的过滤器 Filter图例中 Feature Map-1 对应 Filter-1每个 Filter 内都有一个或多个卷积核 Kernal对应每个输入通道(Input Channel)图例为 3对应输入的红绿蓝三个通道每个 Filter 只有一个 Bias 值图例中 Filter-1 对应 b1卷积核 Kernal 的大小一般是奇数如1×11\times 11×13×33\times 33×3。
注意以上内容都描述的是标准卷积随着技术的发展后续陆续提出了分组卷积、深度可分离卷积、空洞卷积等。详情可参考我之前的文章-MobileNetv1论文详解。
2.3卷积层 api
Pytorch 框架中对应的卷积层 api 如下
class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride1, padding0, dilation1, groups1, biasTrue)主要参数解释
in_channels(int) – 输入信号的通道。out_channels(int) – 卷积产生的通道。kerner_size(int or tuple) - 卷积核的尺寸。stride(int or tuple, optional) - 卷积步长默认值为 1 。padding(int or tuple, optional) - 输入的每一条边补充 0 的层数默认不填充。dilation(int or tuple, optional) – 卷积核元素之间的间距默认取值 1 。groups(int, optional) – 从输入通道到输出通道的阻塞连接数。bias(bool, optional) - 如果 biasTrue添加偏置。
示例代码
###### Pytorch卷积层输出大小验证
import torch
import torch.nn as nn
import torch.autograd as autograd
# With square kernels and equal stride
# output_shape: height (50-3)/21 24.5卷积向下取整所以 height24.
m nn.Conv2d(16, 33, 3, stride2)
# # non-square kernels and unequal stride and with padding
# m nn.Conv2d(16, 33, (3, 5), stride(2, 1), padding(4, 2)) # 输出shape: torch.Size([20, 33, 28, 100])
# # non-square kernels and unequal stride and with padding and dilation
# m nn.Conv2d(16, 33, (3, 5), stride(2, 1), padding(4, 2), dilation(3, 1)) # 输出shape: torch.Size([20, 33, 26, 100])
input autograd.Variable(torch.randn(20, 16, 50, 100))
output m(input)print(output.shape) # 输出shape: torch.Size([20, 16, 24, 49])三卷积神经网络
卷积神经网络一般由卷积层、汇聚层和全连接层构成。
3.1汇聚层
通常当我们处理图像时我们希望逐渐降低隐藏表示的空间分辨率、聚集信息这样随着我们在神经网络中层叠的上升每个神经元对其敏感的感受野输入就越大。
汇聚层(Pooling Layer)也叫子采样层(Subsampling Layer)其作用不仅是进降低卷积层对位置的敏感性同时降低对空间降采样表示的敏感性。
与卷积层类似汇聚层运算符由一个固定形状的窗口组成该窗口根据其步幅大小在输入的所有区域上滑动为固定形状窗口(有时称为汇聚窗口)遍历的每个位置计算一个输出。然而不同于卷积层中的输入与卷积核之间的互相关计算汇聚层不包含参数。相反池运算是确定性的我们通常计算汇聚窗口中所有元素的最大值或平均值。这些操作分别称为最大汇聚层(maximum pooling)和平均汇聚层(average pooling)。
在这两种情况下与互相关运算符一样汇聚窗口从输入张量的左上⻆开始从左往右、从上往下的在输入张量内滑动。在汇聚窗口到达的每个位置它计算该窗口中输入子张量的最大值或平均值。计算最大值或平均值是取决于使用了最大汇聚层还是平均汇聚层。 值得注意的是与卷积层一样汇聚层也可以通过改变填充和步幅以获得所需的输出形状。
3.2.汇聚层 api
Pytorch 框架中对应的聚合层 api 如下
class torch.nn.MaxPool2d(kernel_size, strideNone, padding0, dilation1, return_indicesFalse, ceil_modeFalse)主要参数解释
kernel_size(int or tuple)max pooling 的窗口大小。stride(int or tuple, optional)max pooling的窗口移动的步长。默认值是kernel_size。padding(int or tuple, optional)默认值为 0即不填充像素。输入的每一条边补充 0 的层数。dilation滑动窗中各元素之间的距离。ceil_mode默认值为 False即上述公式默认向下取整如果设为 True计算输出信号大小的时候公式会使用向上取整。 Pytorch 中池化层默认ceil mode false而 Caffe 只实现了 ceil mode true 的计算方式。 示例代码
import torch
import torch.nn as nn
import torch.autograd as autograd
# 大小为3步幅为2的正方形窗口池
m nn.MaxPool2d(kernel_size3, stride2, padding1)
# pool of non-square window
input autograd.Variable(torch.randn(20, 16, 50, 32))
output m(input)
print(output.shape) # torch.Size([20, 16, 25, 16])四卷积神经网络结构
一个典型的卷积网络结构是由卷积层、汇聚层、全连接层交叉堆叠而成。如下图所示 一个简单的 CNN 网络连接图如下所示。 经典 CNN 网络的总结可参考我之前写的文章-经典 backbone 网络总结。 目前卷积网络的整体结构趋向于使用更小的卷积核(比如 1×11 \times 11×1 和 3×33 \times 33×3) 以及更深的结构(比如层数大于 50)。另外由于卷积层的操作性越来越灵活同样可完成减少特征图分辨率汇聚层的作用越来越小因此目前的卷积神经网络逐渐趋向于全卷积网络。
另外可通过这个网站可视化 cnn 的全部过程。 参考资料
AI EDU-17.3 卷积的反向传播原理Visualizing the Feature Maps and Filters by Convolutional Neural Networks《神经网络与深度学习》-第5章《动手学深度学习》-第6章https://www.zhihu.com/question/22298352
