当前位置：首页 > article >正文

深度学习｜表示学习｜Instance Normalization 全面总结｜26

article 2025/2/12 18:34:49

如是我闻：

1. Instance Normalization（IN）

Instance Normalization（IN）最早由 Ulyanov et al.（2017） 提出，主要用于 风格迁移（Style Transfer） 任务。它的核心思想是 对每个样本的每个通道 $(C)$ 单独计算均值和方差，然后进行归一化。

与 Batch Normalization（BN）不同，IN 不依赖 mini-batch 统计信息，所以更适用于小 batch size 甚至 batch size = 1 的情况。

数学公式

对于一个输入特征 $x_{tilm}$ ，其中：

$t$ 表示 batch 维度（样本索引）
$i$ 表示通道索引（C）
$l, m$ 分别表示特征图的空间坐标 $H \times W$

均值计算

$\mu_{ti} = \frac{1}{HW} \sum_{l=1}^{W} \sum_{m=1}^{H} x_{tilm}$

方差计算

$\sigma^2_{ti} = \frac{1}{HW} \sum_{l=1}^{W} \sum_{m=1}^{H} (x_{tilm} - \mu_{ti})^2$

归一化

$y_{tilm} = \frac{x_{tilm} - \mu_{ti}}{\sqrt{\sigma^2_{ti} + \epsilon}}$

💡 计算范围：
Instance Normalization 只在 单个样本的单个通道 (H×W 维度) 内计算均值和方差，而不会跨通道或跨样本计算。

2. Layer Normalization（LN）

概念

Layer Normalization（LN）由 Ba et al.（2016） 提出，最初用于 RNN 和 Transformer 结构，后来也在 CNN 中被广泛使用。它的核心思想是 对整个样本的所有通道 (C×H×W) 计算均值和方差，然后进行归一化。

不同于 Batch Normalization（BN），LN 不依赖 batch 维度，适用于 NLP 和 Transformer 任务，特别是在 batch size 变化较大的情况下，仍能保持稳定的效果。

数学公式

对于一个输入特征 $x_{ijkl}$ ，其中：

$i$ 表示 batch 维度（样本索引）
$j$ 表示通道索引（ $C$ ）
$k, l$ 分别表示特征图的空间坐标（ $H \times W$ ）

均值计算

$\mu^l = \frac{1}{CHW} \sum_{j=1}^{C} \sum_{k=1}^{H} \sum_{l=1}^{W} x_{ijkl}$

方差计算

$\sigma^2_l = \frac{1}{CHW} \sum_{j=1}^{C} \sum_{k=1}^{H} \sum_{l=1}^{W} (x_{ijkl} - \mu^l)^2$

归一化

$y_{ijkl} = \frac{x_{ijkl} - \mu^l}{\sqrt{\sigma^2_l + \epsilon}}$

💡 计算范围：
Layer Normalization 在整个样本的所有通道 (C×H×W) 维度上计算均值和方差，不同通道之间的归一化统计量是共享的。

3. 计算示例

假设我们有一个输入 特征图大小为 $\times 2$ ，batch size 为 1，通道数 C = 2，即：
$\begin{bmatrix} \text{Channel 1}: & \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}, \quad \text{Channel 2}: & \begin{bmatrix} 5 & 6 \\ 7 & 8 \end{bmatrix} \end{bmatrix}$

Instance Normalization

IN 对 每个通道 ( $C$ ) 独立归一化，计算均值和方差：

Channel 1 均值：
$\mu_1 = \frac{1+2+3+4}{4} = 2.5$
方差：
$\sigma_1^2 = \frac{(1-2.5)^2 + (2-2.5)^2 + (3-2.5)^2 + (4-2.5)^2}{4} = 1.25$
归一化：
$Y_1 = \frac{X_1 - 2.5}{\sqrt{1.25 + \epsilon}}$
Channel 2 均值：
$\mu_2 = \frac{5+6+7+8}{4} = 6.5$
归一化后：
$Y_2 = \frac{X_2 - 6.5}{\sqrt{1.25 + \epsilon}}$

Layer Normalization

LN 对 整个样本的所有通道 (C×H×W) 归一化，计算：

总均值：
$\mu = \frac{1+2+3+4+5+6+7+8}{8} = 4.5$
总方差：
$\sigma^2 = \frac{(1-4.5)^2 + \dots + (8-4.5)^2}{8} = 5.25$
归一化：
$\frac{X - 4.5}{\sqrt{5.25 + \epsilon}}$

4. 主要区别

归一化方法	计算均值/方差的范围	归一化的单位	适用场景
Instance Normalization (IN)	每个通道 (H×W) 计算均值和方差	每个通道独立归一化	风格迁移、GAN、计算机视觉任务
Layer Normalization (LN)	整个样本 (C×H×W) 计算均值和方差	所有通道一起归一化	NLP、Transformer、RNN/CNN 任务