5.1 二维卷积层

发表于 更新于 分类于 ，

卷积神经网络（convolutional neural network）是含有卷积层（convolutional layer）的神经网络，最常见的为二维卷积层。它有高和宽两个空间维度，常用来处理图像数据。

二维互相关运算

虽然卷积层得名于卷积（convolution）运算，但通常在卷积层中使用更加直观的互相关（cross-correlation）运算。在二维卷积层中，一个二维输入数组和一个二维核（kernel）数组通过互相关运算输出一个二维数组。 二维互相关运算的含义：如下图所示，输入是一个高和宽均为3的二维数组。将该数组的形状记为\(3 \times 3\)或（3，3）。核数组的高和宽分别为2。该数组在卷积计算中又称卷积核或过滤器（filter）。卷积核窗口（又称卷积窗口）的形状取决于卷积核的高和宽，即\(2 \times 2\)。下图中的阴影部分为第一个输出元素及其计算所使用的输入和核数组元素：\(0\times0+1\times1+3\times2+4\times3=19\)。

在二维互相关运算中，卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。当卷积窗口滑动到某一位置时，窗口中的输入子数组与核数组按元素相乘并求和，得到输出数组中相应位置的元素。上图中的输出数组高和宽分别为2，其中的4个元素由二维互相关运算得出：

\[ 0\times0+1\times1+3\times2+4\times3=19,\\ 1\times0+2\times1+4\times2+5\times3=25,\\ 3\times0+4\times1+6\times2+7\times3=37,\\ 4\times0+5\times1+7\times2+8\times3=43.\\ \]

下面将上述过程实现在corr2d函数里。它接受输入数组X与核数组K，并输出数组Y。

1
2
3
4
5
6
7
8
9
10
import torch 
from torch import nn

def corr2d(X, K):
    h, w = K.shape # 卷积核的高和宽
    Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1)) # 卷积输出的高和宽
    for i in range(Y.shape[0]): # 卷积核在输入数组上逐元素相乘并求和
        for j in range(Y.shape[1]):
            Y[i, j] = (X[i: i + h, j: j + w] * K).sum()
    return Y

可以构造图5.1中的输入数组X、核数组K来验证二维互相关运算的输出。

1
2
3
X = torch.tensor([[0, 1, 2], [3, 4, 5], [6, 7, 8]])
K = torch.tensor([[0, 1], [2, 3]])
print(corr2d(X, K))

输出：

1
2
tensor([[19., 25.],
        [37., 43.]])

二维卷积层

二维卷积层将输入和卷积核做互相关运算，并加上一个标量偏差来得到输出。卷积层的模型参数包括了卷积核和标量偏差。在训练模型的时候，通常先对卷积核随机初始化，然后不断迭代卷积核和偏差。

下面基于corr2d函数来实现一个自定义的二维卷积层。在构造函数__init__里声明weight和bias这两个模型参数。前向计算函数forward则是直接调用corr2d函数再加上偏差。

1
2
3
4
5
6
7
8
class Conv2D(nn.Module):
    def __init__(self, kernel_size):
        super(Conv2D, self).__init__()
        self.weight = nn.Parameter(torch.randn(kernel_size)) # 卷积核参数
        self.bias = nn.Parameter(torch.randn(1)) # 偏差参数

    def forward(self, x):
        return corr2d(x, self.weight) + self.bias # 卷积运算

卷积窗口形状为\(p \times q\)的卷积层称为\(p \times q\)卷积层。同样，\(p \times q\)卷积或\(p \times q\)卷积核说明卷积核的高和宽分别为\(p\)和\(q\)。

图像中物体边缘检测

下面来看一个卷积层的简单应用：检测图像中物体的边缘，即找到像素变化的位置。首先构造一张\(6\times 8\)的图像（即高和宽分别为6像素和8像素的图像）。它中间4列为黑（0），其余为白（1）。

1
2
3
X = torch.ones(6, 8)
X[:, 2:6] = 0
print(X)

输出：

1
2
3
4
5
6
tensor([[1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.]])

然后构造一个高和宽分别为1和2的卷积核K。当它与输入做互相关运算时，如果横向相邻元素相同，输出为0；否则输出为非0。

1
2
K = torch.tensor([[1, -1]]) # 定义卷积核
# 如果两个输入相同，那么输出为0，否则输出非0

下面将输入X和设计的卷积核K做互相关运算。可以看出，将从白到黑的边缘和从黑到白的边缘分别检测成了1和-1。其余部分的输出全是0。

1
2
Y = corr2d(X, K)
print(Y)

输出：

1
2
3
4
5
6
tensor([[ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.]])

由此，可以看出，卷积层可通过重复使用卷积核有效地表征局部空间。

通过数据学习核数组

最后来看一个例子，它使用物体边缘检测中的输入数据X和输出数据Y来学习构造的核数组K。首先构造一个卷积层，其卷积核将被初始化成随机数组。接下来在每一次迭代中，使用平方误差来比较Y和卷积层的输出，然后计算梯度来更新权重。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 构造一个核数组形状是(1, 2)的二维卷积层
conv2d = Conv2D(kernel_size=(1, 2))

step = 20 # 设置超参数
lr = 0.01 # 学习率
for i in range(step):
    Y_hat = conv2d(X) # 预测
    l = ((Y_hat - Y) ** 2).sum() # 计算损失
    l.backward() # 计算梯度
  
    # 梯度下降，优化参数
    conv2d.weight.data -= lr * conv2d.weight.grad
    conv2d.bias.data -= lr * conv2d.bias.grad
  
    # 梯度清0
    conv2d.weight.grad.fill_(0)
    conv2d.bias.grad.fill_(0)
    if (i + 1) % 5 == 0:
        print('Step %d, loss %.3f' % (i + 1, l.item()))

输出：

1
2
3
4
5
6
Step 5, loss 7.182
Step 10, loss 1.319
Step 15, loss 0.292
Step 20, loss 0.073
Step 25, loss 0.019
Step 30, loss 0.005

可以看到，30次迭代后误差已经降到了一个比较小的值。现在来看一下学习到的卷积核的参数。

1
2
print("weight: ", conv2d.weight.data)
print("bias: ", conv2d.bias.data)

输出：

1
2
weight:  tensor([[ 0.9829, -0.9805]])
bias:  tensor([-0.0013])

可以看到，学到的卷积核的权重参数与之前定义的核数组K较接近，而偏置参数接近0。

互相关运算和卷积运算

实际上，卷积运算与互相关运算类似。为了得到卷积运算的输出，只需将核数组左右翻转并上下翻转，再与输入数组做互相关运算。可见，卷积运算和互相关运算虽然类似，但如果它们使用相同的核数组，对于同一个输入，输出往往并不相同。

卷积层能使用互相关运算替代卷积运算：假设卷积层使用互相关运算学出上图中的核数组。设其他条件不变，使用卷积运算学出的核数组即上图中的核数组按上下、左右翻转。也就是说，上图中的输入与学出的已翻转的核数组再做卷积运算时，依然得到上图中的输出。

特征图和感受野

二维卷积层输出的二维数组可以看作是输入在空间维度（宽和高）上某一级的表征，也叫特征图（feature map）。影响元素\(x\)的前向计算的所有可能输入区域（可能大于输入的实际尺寸）叫做\(x\)的感受野（receptive field）。以上图为例，输入中阴影部分的四个元素是输出中阴影部分元素的感受野。将上图中形状为\(2 \times 2\)的输出记为\(Y\)，并考虑一个更深的卷积神经网络：将\(Y\)与另一个形状为\(2 \times 2\)的核数组做互相关运算，输出单个元素\(z\)。那么，\(z\)在\(Y\)上的感受野包括\(Y\)的全部四个元素，在输入上的感受野包括其中全部9个元素。可见，可以通过更深的卷积神经网络使特征图中单个元素的感受野变得更加广阔，从而捕捉输入上更大尺寸的特征。

常使用“元素”一词来描述数组或矩阵中的成员。在神经网络的术语中，这些元素也可称为“单元”。