变分自编码器（Variational Autoencoder, VAE）中的解码器（Decoder）详解

VAE中的解码器（Decoder）详解

变分自编码器（Variational Autoencoder, VAE）是一种广泛使用的生成模型，其解码器（Decoder）是模型的重要组成部分，负责从潜变量 ( $z$ ) 重构数据（如图像）。在本篇博客中，我们将结合数学推导和图示（图 1.6，来源：https://arxiv.org/pdf/2403.18103），详细介绍 VAE 解码器的结构、工作原理以及其在 ELBO 优化中的作用，面向对深度学习和概率模型感兴趣的读者。

解码器的基本结构

VAE 的解码器通过一个神经网络实现，记为 ( ${\text{DecoderNetwork}}_{\theta }(\cdot )$ )，其中 ( $\theta$ ) 表示网络的参数。解码器的核心任务是接受潜变量 ( $z$ ) 作为输入，并生成一个重构数据 ( $f_{\theta }(z)$ )：

$$f_{\theta }(z)={\text{DecoderNetwork}}_{\theta }(z)$$

这里 ( $f_{\theta }(z)$ ) 可以看作是重构的图像或数据，依赖于 ( $\theta$ ) 参数化的神经网络。解码器定义了一个条件分布 ( $p_{\theta }(x|z)$ )，表示给定潜变量 ( $z$ ) 后，数据 ( $x$ ) 的生成分布。我们通常假设 ( $p_{\theta }(x|z)$ ) 为高斯分布，形式为：

$$p_{\theta }(x|z)=\mathcal{N}(x|f_{\theta }(z),{\sigma }_{\text{dec}}^{2}I)$$

其中：

• ( $f_{\theta }(z)$ ) 是分布的均值，即神经网络预测的重构结果。
• ( ${\sigma }_{\text{dec}}^{2}I$ ) 是协方差矩阵，( ${\sigma }_{\text{dec}}$ ) 是一个超参数，表示方差，( $I$ ) 是单位矩阵，假设各维度独立。

重参数化采样

从 ( $p_{\theta }(x|z)$ ) 中采样生成图像 ( $\hat{x}$ ) 时，我们可以使用重参数化技巧：

$$\hat{x}=f_{\theta }(z)+{\sigma }_{\text{dec}}ϵ,ϵ\sim \mathcal{N}(0,I)$$

这个表达式将随机性引入 ( $ϵ$ )，而 ( $f_{\theta }(z)$ ) 提供了确定性部分，使得梯度可以传播到 ( $\theta$ )。

（具体可以参考笔者的博客：VAE中的重参数化技巧（Reparameterization Trick）详解和VAE中的编码器（Encoder）详解）

对数似然度的推导

为了优化 VAE，我们需要计算 ELBO（证据下界），其中包括对 ( $\log p_{\theta }(x|z)$ ) 的期望。让我们推导 ( $\log p_{\theta }(x|z)$)：

$$p_{\theta }(x|z)=\mathcal{N}(x|f_{\theta }(z),{\sigma }_{\text{dec}}^{2}I)$$

高斯分布的概率密度函数为：

$$\mathcal{N}(x|\mu ,{\sigma }^{2}I)=\frac{1}{(2\pi {\sigma }^2{)}^{d/2}}\exp \left(-\frac{\Vert x-\mu {\Vert }^2}{2{\sigma }^2}\right)$$

代入 ( $\mu =f_{\theta }(z)$ )，( ${\sigma }^2={\sigma }_{\text{dec}}^2$ )：

$$\log p_{\theta }(x|z)=\log \left[\frac{1}{(2\pi {\sigma }_{\text{dec}}^2{)}^{d/2}}\exp \left(-\frac{\Vert x-f_{\theta }(z){\Vert }^2}{2{\sigma }_{\text{dec}}^2}\right)\right]$$

利用对数性质：

$$=\log \left(\frac{1}{(2\pi {\sigma }_{\text{dec}}^2{)}^{d/2}}\right)+\log \left(\exp \left(-\frac{\Vert x-f_{\theta }(z){\Vert }^2}{2{\sigma }_{\text{dec}}^2}\right)\right)$$

$$=-\frac{d}{2}\log (2\pi {\sigma }_{\text{dec}}^2)-\frac{\Vert x-f_{\theta }(z){\Vert }^2}{2{\sigma }_{\text{dec}}^2}$$

其中，( $-\frac{d}{2}\log (2\pi {\sigma }_{\text{dec}}^2)$ ) 是与 ( $\theta$ ) 无关的常数项，在优化时可以忽略。因此，简化后：

$$\log p_{\theta }(x|z)\approx -\frac{\Vert x-f_{\theta }(z){\Vert }^2}{2{\sigma }_{\text{dec}}^2}$$

如图 1.6 所示，这一形式表明对数似然度与重构误差 ( $\Vert x-f_{\theta }(z){\Vert }^2$ ) 成二次关系，类似于 ( ${\ell }_2$ ) 范数损失。

ELBO中的重构项

ELBO 的重构项是 ( ${\mathbb{E}}_{q_{\phi }(z|x)}[\log p_{\theta }(x|z)]$ )，其形式为：

$${\mathbb{E}}_{q_{\phi }(z|x)}[\log p_{\theta }(x|z)]=\int \log p_{\theta }(x|z)\cdot q_{\phi }(z|x)dz$$

代入 ( $\log p_{\theta }(x|z)\approx -\frac{\Vert x-f_{\theta }(z){\Vert }^2}{2{\sigma }_{\text{dec}}^2}$ )：

$$=-\int \frac{\Vert x-f_{\theta }(z){\Vert }^2}{2{\sigma }_{\text{dec}}^2}\cdot q_{\phi }(z|x)dz+C$$

其中 ( $C$ ) 是常数，可以忽略。直接计算该积分通常不可行，因此我们使用重参数化技巧，将 ( $z$ ) 表示为：

$$z={\mu }_{\phi }(x)+{\sigma }_{\phi }(x)ϵ,ϵ\sim \mathcal{N}(0,I)$$

代入后，期望变为：

$${\mathbb{E}}_{q_{\phi }(z|x)}[\log p_{\theta }(x|z)]\approx -\frac{1}{M}\sum _{m=1}^M\frac{\Vert x-f_{\theta }(z^{(m)}){\Vert }^2}{2{\sigma }_{\text{dec}}^2}$$

其中 ( $z^{(m)}={\mu }_{\phi }(x)+{\sigma }_{\phi }(x){ϵ}^{(m)}$ )，( ${ϵ}^{(m)}$ ) 是 ( $M$ ) 次蒙特卡洛采样的结果。( $M$ ) 是采样的次数，越大越接近真实期望值。

损失函数的解读

( $-\frac{1}{M}{\sum }_{m=1}^M\frac{\Vert x-f_{\theta }(z^{(m)}){\Vert }^2}{2{\sigma }_{\text{dec}}^2}$ ) 实际上是重构图像 ( $f_{\theta }(z)$ ) 与真实图像 ( $x$ ) 之间的 ( ${\ell }_2$ ) 范数损失的平均。这种形式与图 1.6 中展示的直观一致：解码器生成 ( $f_{\theta }(z)$ ) 后，直接通过 ( ${\ell }_2$ ) 损失与 ( $x$ ) 比较。

梯度计算

• 关于 ( $\theta$ ) 的梯度：由于 ( $f_{\theta }(z)$ ) 依赖 ( $\theta$ )，梯度可以通过自动微分计算，适合反向传播。
• 关于 ( $\phi$ ) 的梯度：通过链式法则，梯度涉及 ( ${\mu }_{\phi }(x)$ ) 和 ( ${\sigma }_{\phi }(x)$ )，计算稍复杂但仍可行。

优化目标是最大化 ( ${\mathbb{E}}_{q_{\phi }(z|x)}[\log p_{\theta }(x|z)]$ )，等价于最小化负 ( ${\ell }_2$ ) 损失。

总结

VAE 解码器通过神经网络 ( ${\text{DecoderNetwork}}_{\theta }$ ) 从潜变量 ( $z$ ) 生成重构数据 ( $f_{\theta }(z)$ )，并假设 ( $p_{\theta }(x|z)$ ) 为高斯分布。其对数似然度简化为 ( ${\ell }_2$ ) 范数形式，在 ELBO 中通过蒙特卡洛近似计算重构项。解码器的设计不仅体现了生成过程的概率特性，还与传统图像重建损失自然衔接，是 VAE 训练的关键部分。

希望这篇博客能帮助你深入理解 VAE 解码器！

后记

2025年3月3日20点41分于上海，在grok 3大模型辅助下完成。