从0开始深度学习（24）——填充和步幅

1 填充

在上一节中，我们的卷积步骤如下：

可以发现输入是$3\times 3$，输出是$2\times 2$，这样可能会导致原始图像的边界丢失了许多有用信息，如果应用多层卷积核，累积丢失的像素就更多了，为了解决这个问题，可以采用填充方法

填充（padding）：在输入图像的边界填充元素（通常填充元素是0）

例如我们对下面的输入图像进行填充，形状由$3\times 3$变为$5\times 5$，这样它的输入会变成$4\times 4$：

通常，如果我们添加 $p_h$ 行填充（大约一半在顶部，一半在底部）和 $p_h$ 列填充（左侧大约一半，右侧一半），则输出形状将为:
$$(n_h-k_h+p_h+1)\times (n_w-k_w+p_w+1)。$$
即意味着输出的高度和宽度将分别增加 $p_h$ 和 $p_h$ 。

在许多情况下，我们需要设置 $p_h=k_h-1$ 和 $p_w=k_w-1$ ，使输入和输出具有相同的高度和宽度, 这样可以在构建网络时更容易地预测每个图层的输出形状

• 如果 $k_h$ 是奇数，我们将在高度的两侧填充 $p_h/2$ 行，宽度同理。
• 如果 $k_h$ 是偶数，则一种可能性是在输入顶部填充 $\lceil p_h/2\rceil$ 行，在底部填充 $\lfloor p_h/2\rfloor$ 行，宽度同理。

卷积神经网络中卷积核的高度和宽度通常为奇数，例如1、3、5或7。 这样保持空间维度的同时，我们可以在顶部和底部填充相同数量的行，在左侧和右侧填充相同数量的列。下面的例子展示了填充后和不填充两种情况下，经过$3\times 3$卷积核做卷积操作后的输入图像形状

import torch
from torch import nn

def comp_covn2d(conv2d,x):
    # 因为通常卷积层的输入是多通道的图像，
    x=x.reshape((1,1)+x.shape)
    y=conv2d(x)
    return y.reshape(y.shape[2:])# 去掉前两个维度（batch_size和num_channels），只关心卷积后的特征图的高度和宽度。

conv2d_padding=nn.Conv2d(1,1,kernel_size=3,padding=1)
conv2d=nn.Conv2d(1,1,kernel_size=3)

x=torch.rand(size=(8,8))

print("padding:",comp_covn2d(conv2d_padding,x).shape)
print("nopadding:",comp_covn2d(conv2d,x).shape)

运行结果

当卷积核的高度和宽度不同时，我们可以填充不同的高度和宽度，使输出和输入具有相同的高度和宽度。在如下示例中，我们使用高度为5，宽度为3的卷积核，高度和宽度两边的填充分别为2和1。

conv2d = nn.Conv2d(1, 1, kernel_size=(5, 3), padding=(2, 1))
comp_conv2d(conv2d, X).shape

运行结果

2 步幅

有时，我们可能希望大幅降低图像的宽度和高度。例如，如果我们发现原始的输入分辨率十分冗余，则可以使用步幅概念，快速的降低输出的维数

在计算互相关时，卷积窗口从输入张量的左上角开始，向下、向右滑动。 在前面的例子中，我们默认每次滑动一个元素。但是，有时候为了高效计算或是缩减采样次数，卷积窗口可以跳过中间位置，每次滑动多个元素。

将每次滑动元素的数量称为步幅（stride），下面是在上面例子中，使用垂直步幅为3，水平步幅为2进行卷积操作

通常，当垂直步幅为 $s_h$ 、水平步幅为 $s_w$ 时，输出形状为$$\lfloor (n_h-k_h+p_h+s_h)/s_h\rfloor \times \lfloor (n_w-k_w+p_w+s_w)/s_w\rfloor .$$

如果我们设置了 $p_h=k_h-1$ 和 $p_h=k_h-1$，则输出形状将简化为$$\lfloor (n_h+s_h-1)/s_h\rfloor \times \lfloor (n_w+s_w-1)/s_w\rfloor$$
如果输入的高度和宽度可以被垂直和水平步幅整除，则输出形状将为$$(n_h/s_h)\times (n_w/s_w)$$
我们将高度和宽度的步幅设置为2，从而将输入的高度和宽度减半。

conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2)
comp_conv2d(conv2d, x).shape

运行结果