转置卷积与全卷积网络FCN在语义分割中的应用

转置卷积与全卷积网络FCN在语义分割中的应用

转置卷积

卷积不会增大输入的高宽，通常的情况是输入不变和减半；转置卷积可以用来增大输入高宽。

如果我们将$\mathsf{X}$输入卷积层$f$来获得输出$\mathsf{Y}=f(\mathsf{X})$并创造一个与$f$有相同的超参数、但输出通道数是$\mathsf{X}$中通道数的转置卷积层$g$，那么$g(Y)$的形状将与$\mathsf{X}$相同。

转置卷积用于逆转下采样导致的空间尺寸减小。卷积操作指的是下采样，指把图片的宽和高变小；转置卷积指的是上采样，用来增大图片的宽和高。

关键点：对一个输入而言，对其先进行卷积，再进行转置卷积，保证两次操作的超参数相同可以保证输入和输出的形状相同。

基本操作

实现基本的转置卷积运算(依照上图编写算法)

def trans_conv(X, K):
    h, w = K.shape
    Y = torch.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
    for i in range(X.shape[0]):
        for j in range(X.shape[1]):
            Y[i: i + h, j: j + w] += X[i, j] * K
    return Y

# 实现函数
X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)
-----------------------------------------------------
tensor([[ 0.,  0.,  1.],
        [ 0.,  4.,  6.],
        [ 4., 12.,  9.]])

# 封装好的高级API，多了一个通道和批量大小数
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)
------------------------------------------------------
tensor([[[[ 0.,  0.,  1.],
          [ 0.,  4.,  6.],
          [ 4., 12.,  9.]]]], grad_fn=<ConvolutionBackward0>)

填充、步幅和多通道

与常规的卷积不同，在转置卷积中，填充被应用于输出。

# 填充设置为1，转置卷积的输出中的第一的行和列
# 将一圈数据删除
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)
------------------------------------------------
tensor([[[[4.]]]], grad_fn=<ConvolutionBackward0>)

步幅指定为中间结果(输出)，不是输入。如下的例子将步幅从1更改为2。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, stride=2, bias=False)
tconv.weight.data = K
tconv(X)
-----------------------------------------------
tensor([[[[0., 0., 0., 1.],
          [0., 0., 2., 3.],
          [0., 2., 0., 3.],
          [4., 6., 6., 9.]]]], grad_fn=<ConvolutionBackward0>)

转置卷积类似于卷积的逆过程，得到的结果形状与输入的形状相同。

X = torch.rand(size=(1, 10, 16, 16))
conv = nn.Conv2d(10, 20, kernel_size=5, padding=2, stride=3)
tconv = nn.ConvTranspose2d(20, 10, kernel_size=5, padding=2, stride=3)
tconv(conv(X)).shape == X.shape
----------------------------------------
True

与矩阵变换的联系

卷积过程可以近似的看作成一个矩阵乘法。

# 卷积结果
X = torch.arange(9.0).reshape(3, 3)
K = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
Y = d2l.corr2d(X, K)
--------------------------------------
Y = tensor([[27., 37.],
        [57., 67.]])

# 发现卷积的得到的结果与矩阵乘法的结果相同
Y == torch.matmul(W, X.reshape(-1)).reshape(2, 2)

# 将卷积近似为矩阵乘法
def kernel2matrix(K):
    k, W = torch.zeros(5), torch.zeros((4, 9))
    k[:2], k[3:5] = K[0, :], K[1, :]
    W[0, :5], W[1, 1:6], W[2, 3:8], W[3, 4:] = k, k, k, k
    return W

# 等同于把kernel大小的数据依次flatten，而把不参与运算的数据置为0即可
W = kernel2matrix(K)
------------------------------------------------------------
tensor([[1., 2., 0., 3., 4., 0., 0., 0., 0.],
        [0., 1., 2., 0., 3., 4., 0., 0., 0.],
        [0., 0., 0., 1., 2., 0., 3., 4., 0.],
        [0., 0., 0., 0., 1., 2., 0., 3., 4.]])

# 同理，反卷积的效果和转置乘法得到的结果相同
Z = trans_conv(Y, K)
Z == torch.matmul(W.T, Y.reshape(-1)).reshape(3, 3)

抽象来看，给定输入向量$\mathbf{x}$和权重矩阵$\mathbf{W}$，卷积的前向传播函数可以通过将其输入与权重矩阵相乘并输出向量$\mathbf{y}=\mathbf{Wx}$来实现。
由于反向传播遵循链式法则和${\nabla }_{\mathbf{x}}\mathbf{y}={\mathbf{W}}^{\top }$，卷积的反向传播函数可以通过将其输入与转置的权重矩阵相乘来实现${\mathbf{W}}^{\top }\mathbf{y}$。
因此，转置卷积层能够交换卷积层的正向传播函数和反向传播函数：它的正向传播和反向传播函数将输入向量分别与${\mathbf{W}}^{\top }$和$\mathbf{W}$相乘。

转置卷积可以近似的还原出原始图像，转置卷积可以通过将卷积核进行翻转和填充得到，使用转置卷积可以实现图像的放大和去模糊等效果。但是，转置卷积本质上是一种逼近方法，因此无法完全还原原始的输入数据。

(反卷积和转置卷积在深度学习里可以称作一个意思，在数学领域是指卷积的逆运算，不是一个概念)

转置卷积与卷积的关系

转置卷积到卷积：(转化到卷积该如何理解)

填充为1，输入填充为k-p-1(0)

填充为0，步幅为2->输入填充为1，在行和列之间插入1行或列

输入高(宽)为n，核k，填充p，步幅s

转置卷积：n′=s*n*+k−2p−*s

卷积：$n^{\prime }=\lfloor (n-k+2p+s)/s\rfloor \to n⩾s{n}^{\prime }+k-2p-s$

此时发现转置卷积和卷积相等，也说明了在转置卷积和卷积的条件下，超参数相等的情况下，转置卷积等价于卷积。

如果让转置卷积中高宽成倍增加，那么k=2p+s。

Q&A

Q1：转置卷积得出的结果含义是什么？(其实很抽象)

A1：用于卷积可视化。输入中间层特征图->反池化->ReLu->转置卷积，可以将特征图映射回原始像素空间

Q2：转置卷积的目的

A2：转置卷积是为了分析每一个像素，而不在乎是否对图片具有还原功能；即形状相同

全连接卷积神经网络(FCN)

FCN是深度神经网络来做语义分割的奠基性工作。采用卷积实现了从图像像素到像素类别的转化。

FCN利用了转置卷积实现了将中间特征图像的尺寸转换回输入图像的尺寸，这样可以实现输出的类别预测与输入图片在像素级上有一一对应关系：通道维的输出即该位置对应像素的类别预测。

如上图所示，全卷积网络先通过卷积神经网络抽取图像特征，，然后通过1*1卷积层将通道数变换为类别个数，最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。因此，模型输出与输入图像的高和宽相同，且最终输出通道包含了该空间位置像素的类别预测。

# 通过ImageNet数据集上的ResNet-18模型来提取图像特征
pretrained_net = torchvision.models.resnet18(pretrained=True)
list(pretrained_net.children())[-3:]

# 去除ResNet-18模型中最后几层，包括全局平均汇聚层和全连接层
net = nn.Sequential(*list(pretrained_net.children())[:-2])

# 给定高度为320和宽度为480的输入，net的前向传播将输入的高和宽减小至原来的 1/32，即10和15。
X = torch.rand(size=(1, 3, 320, 480))
net(X).shape
---------------------------------------------------
torch.Size([1, 512, 10, 15])

接下来使用1*1卷积层将输出通道数转换为数据集的类数(21类)，最后再需要将特征图的高度和宽度增加32倍，从而将其变回输入图像的高和宽。

回忆之前的卷积层变化，(320−64+16×2+32)/32=10(320−64+16×2+32)/32=10且(480−64+16×2+32)/32=15(480−64+16×2+32)/32=15，发现卷积核的padding为16，stride为32，kernel_size为64

# 添加1*1卷积层和转置卷积层，将中间处理结果的图像大小转换为输入图片的大小规模
num_classes = 21
net.add_module('final_conv', nn.Conv2d(512, num_classes, kernel_size=1))
net.add_module('transpose_conv', nn.ConvTranspose2d(num_classes, num_classes,
                                    kernel_size=64, padding=16, stride=32))

• 初始化转置卷积层

双线性插值（bilinear interpolation）是常用的上采样方法之一，它也经常用于初始化转置卷积层。

为了解释双线性插值，假设给定输入图像，我们想要计算上采样输出图像上的每个像素。

1. 将输出图像的坐标$(x,y)$映射到输入图像的坐标$(x^{\prime },y^{\prime })$上。
   例如，根据输入与输出的尺寸之比来映射。请注意，映射后的$x\prime$和$y\prime$是实数。
2. 在输入图像上找到离坐标$(x^{\prime },y^{\prime })$最近的4个像素。
3. 输出图像在坐标$(x,y)$上的像素依据输入图像上这4个像素及其与$(x^{\prime },y^{\prime })$的相对距离来计算。

# 利用双线性插值来粗还是化转置卷积层
def bilinear_kernel(in_channels, out_channels, kernel_size):
    factor = (kernel_size + 1) // 2
    if kernel_size % 2 == 1:
        center = factor - 1
    else:
        center = factor - 0.5
    og = (torch.arange(kernel_size).reshape(-1, 1),
          torch.arange(kernel_size).reshape(1, -1))
    filt = (1 - torch.abs(og[0] - center) / factor) * \
           (1 - torch.abs(og[1] - center) / factor)
    weight = torch.zeros((in_channels, out_channels,
                          kernel_size, kernel_size))
    weight[range(in_channels), range(out_channels), :, :] = filt
    return weight

# 构造一个转置卷积层，用上述方法进行转置卷积层的初始化
conv_trans = nn.ConvTranspose2d(3, 3, kernel_size=4, padding=1, stride=2,
                                bias=False)
conv_trans.weight.data.copy_(bilinear_kernel(3, 3, 4));

# 读取图片，对图片进行tensor处理；为了可以打印图像要调整通道维的位置
img = torchvision.transforms.ToTensor()(d2l.Image.open('../img/catdog.jpg'))
X = img.unsqueeze(0)
Y = conv_trans(X)
out_img = Y[0].permute(1, 2, 0).detach()

# 展示图片
d2l.set_figsize()
print('input image shape:', img.permute(1, 2, 0).shape)
d2l.plt.imshow(img.permute(1, 2, 0));
print('output image shape:', out_img.shape)
d2l.plt.imshow(out_img);
----------------------------------------------------
# 图像的高和宽分别放大了2倍
input image shape: torch.Size([561, 728, 3])
output image shape: torch.Size([1122, 1456, 3])

# 回归主题，利用双线性插值的上采样初始化转置卷积层，对于1*1卷积层二采用Xavier初始化参数
W = bilinear_kernel(num_classes, num_classes, 64)
net.transpose_conv.weight.data.copy_(W);

# 读取数据集
batch_size, crop_size = 32, (320, 480)
train_iter, test_iter = d2l.load_data_voc(batch_size, crop_size)

# 训练
# input是one-hot编码网络预测的结果张量(32，21，320，480)，targets是真实标签(32,320,480)，不是one-hot编码
# cross_entropy得到的结果是(32，320，480)再分别对长，宽取平均依次得到的结果是(32，480)以及(32)
def loss(inputs, targets):
    return F.cross_entropy(inputs, targets, reduction='none').mean(1).mean(1)

num_epochs, lr, wd, devices = 5, 0.001, 1e-3, d2l.try_all_gpus()
trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd)
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)

# 预测
def predict(img):
    X = test_iter.dataset.normalize_image(img).unsqueeze(0)
    # 选取正确通道
    pred = net(X.to(devices[0])).argmax(dim=1)
    return pred.reshape(pred.shape[1], pred.shape[2])

# 预测类映射回在数据集中的标注颜色
def label2image(pred):
    colormap = torch.tensor(d2l.VOC_COLORMAP, device=devices[0])
    X = pred.long()
    return colormap[X, :]

# 对图片进行截取作为测试图像
voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
test_images, test_labels = d2l.read_voc_images(voc_dir, False)
n, imgs = 4, []
for i in range(n):
    crop_rect = (0, 0, 320, 480)
    X = torchvision.transforms.functional.crop(test_images[i], *crop_rect)
    pred = label2image(predict(X))
    imgs += [X.permute(1,2,0), pred.cpu(),
             torchvision.transforms.functional.crop(
                 test_labels[i], *crop_rect).permute(1,2,0)]
d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2);