1×1卷积核【super star 卷积核】
一、1×1卷积的作用
我们先来给出1×1卷积的一般作用，如下所示：
1.1 特征通道的升维与降维/跨通道的特征整合/简化模型
输入数据：64×64@192，卷积核：1×1@192
输出数据：64×64@1
- 特征通道的升维与降维
从上图可以得知，对形式为64×64@192的输入数据使用1×1@192的卷积核进行卷积操作时，可以得到一个64×64@1的特征图，在这个过程中，在不影响特征图的结构大小的前提下降低了特征图的通道数，相当于大幅度降低了特征图的数量。
当只有一个1×1卷积核时，输出特征图的通道数为1，此时相当于特征通道降维；若有比输入数据的通道数多的卷积核时，则此时相当于特征通道的升维。
结论：每个1×1卷积核相当于在输入数据的通道上做了一个降维（经过一个神经元个数为1的全连接层），从而相当于大幅度降低了特征图的数量，但不影响特征图的结构。
- 跨通道的信息融合（特征整合）
1×1卷积用于跨通道整合特征，通过对每个像素点应用 1×1 大小的卷积核，来实现不同通道之间的线性组合。这种操作不会改变空间维度，但能有效地整合来自不同通道的信息，进而生成新的特征表示。它在减少计算量的同时，能够保留和处理通道间的复杂关系，是深度神经网络中常用的操作，特别是在轻量化模型如MobileNet中，用于特征融合。
1×1卷积核可以减少权重参数的原因是，它只在通道维度上进行操作，不会影响空间维度（宽度和高度）。相比标准的卷积核（如3×3或5×5），1×1卷积核不涉及空间范围内的特征提取，只是在每个像素位置跨通道进行线性组合。
- 减少权重参数
具体来说，假设输入特征图的大小为 H×W×M（高度、宽度、通道数），并且输出特征图的通道数为 N，那么：
- 对于标准的3×3卷积核，权重参数的数量为 3×3×M×N=9MN。
- 对于1×1卷积核，权重参数的数量为 1×1×M×N=MN。
因此，1×1卷积核的参数数量为标准3×3卷积核的九分之一，极大地减少了网络的权重参数，同时还能够通过跨通道操作保持一定的特征整合能力。这种特性使得1×1卷积在轻量化网络（如MobileNet）中被广泛使用，能够减少计算量和存储需求。