论文笔记（六十三）Understanding Diffusion Models: A Unified Perspective（四）

文章概括

引用：

@article{luo2022understanding,
  title={Understanding diffusion models: A unified perspective},
  author={Luo, Calvin},
  journal={arXiv preprint arXiv:2208.11970},
  year={2022}
}

Luo, C., 2022. Understanding diffusion models: A unified perspective. arXiv preprint arXiv:2208.11970.

原文： https://arxiv.org/abs/2208.11970
代码、数据和视频：https://arxiv.org/abs/2208.11970

系列文章：
请在 $《$文章$》$ 专栏中查找

学习扩散噪声参数（Learning Diffusion Noise Parameters）

让我们探讨如何联合学习VDM的噪声参数。一种潜在的方法是使用具有参数$\eta$的神经网络${\hat{\alpha }}_{\eta }(t)$对${\alpha }_t$进行建模。然而，这种方法效率较低，因为在每个时间步$t$上都必须多次执行推断以计算${\bar{\alpha }}_t$。虽然缓存可以缓解这一计算成本，但我们也可以推导出另一种学习扩散噪声参数的方法。通过将公式85中的方差公式代入公式99中推导出的每时间步目标，我们可以化简为：

1. ${\bar{\alpha }}_t$ 的定义

扩散模型中，${\bar{\alpha }}_t$ 的定义为： $${\bar{\alpha }}_t=\prod _{i=1}^t{\alpha }_i,$$ 即所有时间步 ${\alpha }_i$ 的累积乘积。

---

2. ${\bar{\alpha }}_{t-1}(1-{\alpha }_t)$ 的展开

从 ${\bar{\alpha }}_t$ 的定义出发，可以得到： $${\bar{\alpha }}_{t-1}=\prod _{i=1}^{t-1}{\alpha }_i.$$

因此，${\bar{\alpha }}_t$ 可以写成： $${\bar{\alpha }}_t={\bar{\alpha }}_{t-1}\cdot {\alpha }_t.$$

于是，有：$$1-{\bar{\alpha }}_t=1-({\bar{\alpha }}_{t-1}\cdot {\alpha }_t).$$

---

3. 化简 ${\bar{\alpha }}_{t-1}(1-{\alpha }_t)$

现在回到公式 (103) 中的 ${\bar{\alpha }}_{t-1}(1-{\alpha }_t)$。将其展开为： $${\bar{\alpha }}_{t-1}(1-{\alpha }_t)={\bar{\alpha }}_{t-1}-{\bar{\alpha }}_{t-1}\cdot {\alpha }_t.$$

结合 ${\bar{\alpha }}_t={\bar{\alpha }}_{t-1}\cdot {\alpha }_t$，我们发现： $${\bar{\alpha }}_{t-1}-{\bar{\alpha }}_{t-1}\cdot {\alpha }_t={\bar{\alpha }}_{t-1}-{\bar{\alpha }}_t.$$

回忆公式70，$q(x_t|x_0)$是形式为$\mathcal{N}(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$的高斯分布。然后，根据信噪比（SNR）的定义$SNR=\frac{{\mu }^2}{{\sigma }^2}$，我们可以将每个时间步$t$的信噪比写为：

$$\text{SNR}(t)=\frac{{\bar{\alpha }}_t}{1-{\bar{\alpha }}_t}\text{\hspace{1em}(109)}$$

然后，我们推导的公式108（以及公式99）可以简化为：

$$\frac{1}{2{\sigma }_q^2(t)}\frac{{\bar{\alpha }}_{t-1}(1-{\alpha }_t{)}^2}{(1-{\bar{\alpha }}_t{)}^2}\left[{\Vert {\hat{x}}_{\theta }(x_t,t)-x_0\Vert }_2^2\right]=\frac{1}{2}\left(\text{SNR}(t-1)-\text{SNR}(t)\right)\left[{\Vert {\hat{x}}_{\theta }(x_t,t)-x_0\Vert }_2^2\right]\text{\hspace{1em}(110)}$$

正如其名称所暗示的，信噪比（SNR）表示原始信号与存在的噪声量之间的比率；更高的SNR表示更多的信号，而较低的SNR表示更多的噪声。在扩散模型中，我们要求SNR随着时间步$t$的增加单调递减；这形式化地体现了扰动输入$x_t$随时间逐渐变得越来越嘈杂，直到在$t=T$时与标准高斯分布相同。

根据公式110中目标的简化，我们可以直接使用神经网络对每个时间步的SNR进行参数化，并与扩散模型一起联合学习。由于SNR必须随着时间单调递减，我们可以将其表示为：

$$\text{SNR}(t)=\exp \left(-{\omega }_{\eta }(t)\right)\text{\hspace{1em}(111)}$$

其中，${\omega }_{\eta }(t)$由一个单调递增的神经网络建模，参数为$\eta$。对${\omega }_{\eta }(t)$取负值会导致结果成为单调递减函数，而指数函数强制结果为正值。注意，式(100)中的目标函数现在也必须对$\eta$（参数）进行优化。通过将式(111)中的SNR参数化与式(109)中的SNR定义相结合，我们还可以显式推导出${\bar{\alpha }}_t$的优雅形式，以及$1-{\bar{\alpha }}_t$的表达式：

$$\frac{{\bar{\alpha }}_t}{1-{\bar{\alpha }}_t}=\exp (-{\omega }_{\eta }(t))\text{\hspace{1em}(112)}$$$$\therefore {\bar{\alpha }}_t=\text{sigmoid}(-{\omega }_{\eta }(t))\text{\hspace{1em}(113)}$$$$\therefore 1-{\bar{\alpha }}_t=\text{sigmoid}({\omega }_{\eta }(t))\text{\hspace{1em}(114)}$$

这些项在多种计算中是必需的；例如，在优化过程中，它们用于通过重参数化技巧从输入$x_0$创建任意噪声的$x_t$，这一过程在公式(69)中推导得出。

1. SNR 的参数化

为了强制 SNR 随时间单调递减，我们将其表示为一个指数函数（总是正值且单调递减）： $$\text{SNR}(t)=\exp (-{\omega }_{\eta }(t)).\text{\hspace{1em}(111)}$$

解释公式 (111)：

1. ${\omega }_{\eta }(t)$ 是一个单调递增函数：

   • 这是由一个神经网络建模的（参数为 $\eta$）。
   • 时间 $t$ 增大时，${\omega }_{\eta }(t)$ 增大。

2. 负号作用：

   • 取负号 $-{\omega }_{\eta }(t)$ 将单调递增函数变为单调递减。
   • 指数函数 $\exp (\cdot )$ 强制结果为正值。

直观意义：

• 时间 $t=0$ 时，${\omega }_{\eta }(0)\approx 0$，因此 $\text{SNR}(0)\approx 1$，表示干净信号。
• 时间 $t=T$ 时，${\omega }_{\eta }(T)\to \infty$，因此 $\text{SNR}(T)\to 0$，表示纯噪声。

---

2. 推导 ${\bar{\alpha }}_t$ 和 $1-{\bar{\alpha }}_t$

根据 SNR 的定义：$$\text{SNR}(t)=\frac{{\bar{\alpha }}_t}{1-{\bar{\alpha }}_t}.$$

2.1 表达式重写 将 $\text{SNR}(t)=\exp (-{\omega }_{\eta }(t))$ 代入： $$\frac{{\bar{\alpha }}_t}{1-{\bar{\alpha }}_t}=\exp (-{\omega }_{\eta }(t)).\text{\hspace{1em}(112)}$$

这是公式 (112)。

---

2.2 求解 ${\bar{\alpha }}_t$

通过代数化简：$$\frac{{\bar{\alpha }}_t}{1-{\bar{\alpha }}_t}=\exp (-{\omega }_{\eta }(t)),$$ 两边乘以 $1-{\bar{\alpha }}_t$： $${\bar{\alpha }}_t=\exp (-{\omega }_{\eta }(t))(1-{\bar{\alpha }}_t).$$ 展开后： $${\bar{\alpha }}_t+\exp (-{\omega }_{\eta }(t)){\bar{\alpha }}_t=\exp (-{\omega }_{\eta }(t)).$$ $${\bar{\alpha }}_t(1+\exp (-{\omega }_{\eta }(t)))=\exp (-{\omega }_{\eta }(t)).$$ 因此： $${\bar{\alpha }}_t=\frac{\exp (-{\omega }_{\eta }(t))}{1+\exp (-{\omega }_{\eta }(t))}.$$

这正是逻辑函数（Sigmoid 函数）的定义： $${\bar{\alpha }}_t=\text{sigmoid}(-{\omega }_{\eta }(t)).\text{\hspace{1em}(113)}$$

---

2.3 求解 $1-{\bar{\alpha }}_t$

从逻辑函数的性质得知： $$1-\text{sigmoid}(x)=\text{sigmoid}(-x).$$

因此： $$1-{\bar{\alpha }}_t=1-\text{sigmoid}(-{\omega }_{\eta }(t))=\text{sigmoid}({\omega }_{\eta }(t)).\text{\hspace{1em}(114)}$$

---

3. 优化过程中的作用

公式 (113) 和 (114) 的意义

• ${\bar{\alpha }}_t=\text{sigmoid}(-{\omega }_{\eta }(t))$：表示在时间 $t$ 时信号的强度比例。
• $1-{\bar{\alpha }}_t=\text{sigmoid}({\omega }_{\eta }(t))$：表示在时间 $t$ 时噪声的强度比例。

在优化过程中：

1. 我们用神经网络建模 ${\omega }_{\eta }(t)$，确保信噪比随时间单调递减。
2. 参数化的 ${\bar{\alpha }}_t$ 和 $1-{\bar{\alpha }}_t$ 用于生成带噪数据 $x_t$，并通过重参数化技巧优化模型。

---

4. 示例：将信号和噪声混合

假设 $x_0$ 是干净数据，噪声为 $ϵ$，带噪数据 $x_t$ 的生成公式为： $$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ.$$

用公式 (113) 和 (114) 计算：

• 当 $t\to 0$：${\bar{\alpha }}_t\to 1$，$1-{\bar{\alpha }}_t\to 0$，则 $x_t\approx x_0$（干净数据）。
• 当 $t\to T$：${\bar{\alpha }}_t\to 0$，$1-{\bar{\alpha }}_t\to 1$，则 $x_t\approx ϵ$（纯噪声）。

---

5. 总结

1. SNR 的引入：

   • 为了确保信噪比单调递减，定义 $\text{SNR}(t)=\exp (-{\omega }_{\eta }(t))$，其中 ${\omega }_{\eta }(t)$ 是单调递增函数。

2. SNR 与 ${\bar{\alpha }}_t$ 的关系：

   • 信号强度 ${\bar{\alpha }}_t=\text{sigmoid}(-{\omega }_{\eta }(t))$。
   • 噪声强度 $1-{\bar{\alpha }}_t=\text{sigmoid}({\omega }_{\eta }(t))$。

3. 实际意义：

   • 通过神经网络建模 ${\omega }_{\eta }(t)$，我们可以控制信号和噪声的比例，进而优化生成模型。

三种等效的解释（Three Equivalent Interpretations）

正如我们之前证明的，变分扩散模型（VDM）可以通过学习一个神经网络来预测从任意噪声版本$x_t$及其时间索引$t$恢复原始自然图像$x_0$来进行训练。然而，$x_0$还有另外两种等效的参数化形式，这导致了对VDM的另外两种解释。

首先，我们可以利用重参数化技巧。在我们推导$q(x_t|x_0)$形式的过程中，可以重新排列公式(69)以得到：

$$x_0=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_0}{\sqrt{{\bar{\alpha }}_t}}\text{\hspace{1em}(115)}$$

将此代入我们之前推导出的真实去噪转移均值${\mu }_q(x_t,x_0)$，我们可以重新推导如下：

公式（116）来自公式（93）

将此代入我们之前推导出的真实去噪转移均值${\mu }_q(x_t,x_0)$，我们可以重新推导如下：

$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}{x}_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}\sqrt{{\alpha }_t}}{\widehat{ϵ}}_0(x_t,t)\text{\hspace{1em}(125)}$$

相应的优化问题变为：

这里，${\widehat{ϵ}}_{\theta }(x_t,t)$是一个神经网络，用于学习预测源噪声${ϵ}_0\sim \mathcal{N}(ϵ;0,I)$，该噪声决定了从$x_0$生成$x_t$。因此，我们已经证明，通过预测原始图像$x_0$来学习VDM等同于学习预测噪声；然而，从经验上看，一些研究发现，预测噪声会带来更好的性能[5, 7]。

为了推导出变分扩散模型的第三种常见解释，我们求助于Tweedie公式[8]。用简单的语言来说，Tweedie公式指出，给定从指数族分布中抽取的样本，该分布的真实均值可以通过样本的最大似然估计（即经验均值）加上一些涉及估计得分的修正项来估计。在仅有一个观测样本的情况下，经验均值就是样本本身。该公式通常用于减轻样本偏差；如果观测样本都偏向底层分布的一端，则负得分会变大，从而将样本的朴素最大似然估计修正为更接近真实均值的值。

数学上，对于一个高斯变量$z\sim \mathcal{N}(z;{\mu }_z,{\Sigma }_z)$，Tweedie公式表示：

$$\mathbb{E}[{\mu }_z|z]=z+{\Sigma }_z{\nabla }_z\log p(z)$$

在这种情况下，我们将其应用于预测已知样本的条件下$x_t$的真实后验均值。从公式70中我们知道：

$$q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$

然后，根据Tweedie公式，我们可以得到：

$$\mathbb{E}[{\mu }_{x_t}|x_t]=x_t+(1-{\bar{\alpha }}_t){\nabla }_{x_t}\log p(x_t)\text{\hspace{1em}(131)}$$

整体目标和背景

我们要解决的问题是 优化变分扩散模型（VDM）。核心目标是：

• 学习一个模型 ${\mu }_{\theta }(x_t,t)$，使其能够逼近数据真实分布的均值 ${\mu }_q(x_t,x_0)$。
• 为此，我们引入了 Tweedie公式，推导了 ${\mu }_q(x_t,x_0)$ 的新形式。

最终优化目标是最小化一个 KL 散度（衡量两个分布之间的差异）。

---

1. Tweedie公式是什么？

1.1 定义：
Tweedie公式是用于估计 真实均值 的一个工具。公式为： $$\mathbb{E}[{\mu }_z|z]=z+{\Sigma }_z{\nabla }_z\log p(z).$$ 这里：

• $z$ 是观察到的样本。
• ${\mu }_z$ 是真实均值（需要估计）。
• ${\Sigma }_z{\nabla }_z\log p(z)$ 是修正项，用于纠正样本偏差。
• ${\nabla }_z\log p(z)$：分布的对数梯度（也叫 得分函数，score function）。

1.2 作用 Tweedie公式的作用是：

• 在你观察到 $z$ 时，估计真实的均值 ${\mu }_z$。
• 它修正了直接使用样本均值的偏差。

1.3 直观例子 假设 $z\sim \mathcal{N}(\mu ,{\sigma }^2)$：

• 如果你观测到 $z=1.5$，真实均值可能不是 $z$ 自身，而是 $z+\text{修正项}$。
• 修正项由样本的偏差方向决定。

---

2. 将 Tweedie公式应用于 $q(x_t|x_0)$

2.1 $q(x_t|x_0)$ 的形式 在扩散模型中： $$q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)\mathbf{I}),$$

• 均值 ${\mu }_q(x_t|x_0)=\sqrt{{\bar{\alpha }}_t}{x}_0$。
• 协方差 ${\Sigma }_q=(1-{\bar{\alpha }}_t)\mathbf{I}$。

2.2 应用 Tweedie公式 根据 Tweedie公式： $$\mathbb{E}[{\mu }_{x_t}|x_t]=x_t+{\Sigma }_q{\nabla }_{x_t}\log p(x_t).$$

代入协方差 ${\Sigma }_q=(1-{\bar{\alpha }}_t)\mathbf{I}$： $$\mathbb{E}[{\mu }_{x_t}|x_t]=x_t+(1-{\bar{\alpha }}_t){\nabla }_{x_t}\log p(x_t).\text{\hspace{1em}(131)}$$

我们将${\nabla }_{x_t}\log p(x_t)$简写为$\nabla \log p(x_t)$以简化符号表示。根据Tweedie公式，$x_t$生成的真实均值的最佳估计${\mu }_{x_t}=\sqrt{{\bar{\alpha }}_t}{x}_0$定义为：

$$\sqrt{{\bar{\alpha }}_t}{x}_0=x_t+(1-{\bar{\alpha }}_t)\nabla \log p(x_t)\text{\hspace{1em}(132)}$$$$\therefore x_0=\frac{x_t+(1-{\bar{\alpha }}_t)\nabla \log p(x_t)}{\sqrt{{\bar{\alpha }}_t}}\text{\hspace{1em}(133)}$$

3. 推导 $x_0$ 的表达式

3.1 利用均值关系 从 $q(x_t|x_0)$ 的定义，知道均值为： $${\mu }_q(x_t|x_0)=\sqrt{{\bar{\alpha }}_t}{x}_0.$$

3.2 结合 Tweedie公式 根据公式 (131)： $$\sqrt{{\bar{\alpha }}_t}{x}_0=x_t+(1-{\bar{\alpha }}_t){\nabla }_{x_t}\log p(x_t).\text{\hspace{1em}(132)}$$

3.3 解出 $x_0$ 整理公式，解出 $x_0$：$$x_0=\frac{x_t+(1-{\bar{\alpha }}_t)\nabla \log p(x_t)}{\sqrt{{\bar{\alpha }}_t}}.\text{\hspace{1em}(133)}$$

然后，我们可以再次将公式(133)代入真实的去噪转移均值${\mu }_q(x_t,x_0)$中，并推导出一种新的形式：

$$\begin{array}{rlrl}{\mu }_q(x_t,x_0)& =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\bar{\alpha }}_t}& & (134)\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)\frac{x_t+(1-{\bar{\alpha }}_t)\nabla \log p(x_t)}{\sqrt{{\bar{\alpha }}_t}}}{1-{\bar{\alpha }}_t}& & (135)\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+(1-{\alpha }_t)\frac{x_t+(1-{\bar{\alpha }}_t)\nabla \log p(x_t)}{\sqrt{{\alpha }_t}}}{1-{\bar{\alpha }}_t}& & (136)\\ & =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t}{1-{\bar{\alpha }}_t}+\frac{(1-{\alpha }_t)x_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}+\frac{(1-{\alpha }_t)(1-{\bar{\alpha }}_t)\nabla \log p(x_t)}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}& & (137)\\ & =(\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}+\frac{(1-{\alpha }_t)}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}})x_t+\frac{(1-{\alpha }_t)\nabla \log p(x_t)}{\sqrt{{\alpha }_t}}& & (138)\\ & =(\frac{{\alpha }_t(1-{\bar{\alpha }}_{t-1})}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}+\frac{(1-{\alpha }_t)}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}})x_t+\frac{(1-{\alpha }_t)\nabla \log p(x_t)}{\sqrt{{\alpha }_t}}& & (139)\\ & =\frac{{\alpha }_t-{\bar{\alpha }}_t+1-{\alpha }_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}{x}_t+\frac{(1-{\alpha }_t)\nabla \log p(x_t)}{\sqrt{{\alpha }_t}}& & (140)\\ & =\frac{1-{\bar{\alpha }}_t}{(1-{\bar{\alpha }}_t)\sqrt{{\alpha }_t}}{x}_t+\frac{(1-{\alpha }_t)\nabla \log p(x_t)}{\sqrt{{\alpha }_t}}& & (141)\\ & =\frac{1}{\sqrt{{\alpha }_t}}{x}_t+\frac{(1-{\alpha }_t)\nabla \log p(x_t)}{\sqrt{{\alpha }_t}}& & (142)\end{array}$$

4. 替换 ${\mu }_q(x_t,x_0)$

4.1 原始公式 真实去噪均值公式为： $${\mu }_q(x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)x_0}{1-{\bar{\alpha }}_t}.\text{\hspace{1em}(134)}$$
来自公式（93）
4.2 用 $x_0$ 替换 将 $x_0=\frac{x_t+(1-{\bar{\alpha }}_t)\nabla \log p(x_t)}{\sqrt{{\bar{\alpha }}_t}}$ 代入公式 (134)：$${\mu }_q(x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})x_t+\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)\frac{x_t+(1-{\bar{\alpha }}_t)\nabla \log p(x_t)}{\sqrt{{\bar{\alpha }}_t}}}{1-{\bar{\alpha }}_t}.$$

---

5. 化简公式

以下是化简的关键步骤：

1. 展开分子：将 $x_t$ 和梯度项分开。
2. 提取系数：将 $x_t$ 和 $\nabla \log p(x_t)$ 的系数分别写成一个整体。

最终得到的结果为： $${\mu }_q(x_t,x_0)=\frac{1}{\sqrt{{\alpha }_t}}{x}_t+\frac{1-{\alpha }_t}{\sqrt{{\alpha }_t}}\nabla \log p(x_t).\text{\hspace{1em}(142)}$$

化简过程还是很简单的

因此，我们也可以将近似去噪转换的均值${\mu }_{\theta }(x_t,t)$设置为：

$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}{x}_t+\frac{1-{\alpha }_t}{\sqrt{{\alpha }_t}}{s}_{\theta }(x_t,t)\text{\hspace{1em}(143)}$$

对应的优化问题变为：
$$\underset{\theta }{\mathrm{argmin}}{D}_{KL}(q(x_{t-1}|x_t,x_0)\Vert p_{\theta }(x_{t-1}|x_t))$$
$$\begin{array}{rlrl}& =\underset{\theta }{\mathrm{argmin}}{D}_{KL}(\mathcal{N}(x_{t-1};{\mu }_q,{\Sigma }_q(t))\Vert \mathcal{N}(x_{t-1};{\mu }_{\theta },{\Sigma }_q(t)))& & (144)\\ & =\underset{\theta }{\mathrm{argmin}}\frac{1}{2{\sigma }_q^2(t)}\left[{\Vert \frac{1}{\sqrt{{\alpha }_t}}{x}_t+\frac{1-{\alpha }_t}{\sqrt{{\alpha }_t}}{s}_{\theta }(x_t,t)-\frac{1}{\sqrt{{\alpha }_t}}{x}_t-\frac{1-{\alpha }_t}{\sqrt{{\alpha }_t}}\nabla \log p(x_t)\Vert }_2^2\right]& & (145)\\ & =\underset{\theta }{\mathrm{argmin}}\frac{1}{2{\sigma }_q^2(t)}\left[{\Vert \frac{1-{\alpha }_t}{\sqrt{{\alpha }_t}}{s}_{\theta }(x_t,t)-\frac{1-{\alpha }_t}{\sqrt{{\alpha }_t}}\nabla \log p(x_t)\Vert }_2^2\right]& & (146)\\ & =\underset{\theta }{\mathrm{argmin}}\frac{1}{2{\sigma }_q^2(t)}\left[{\Vert \frac{(1-{\alpha }_t)}{{\alpha }_t}(s_{\theta }(x_t,t)-\nabla \log p(x_t))\Vert }_2^2\right]& & (147)\\ & =\underset{\theta }{\mathrm{argmin}}\frac{1}{2{\sigma }_q^2(t)}\frac{(1-{\alpha }_t{)}^2}{{\alpha }_t}\left[{\Vert s_{\theta }(x_t,t)-\nabla \log p(x_t)\Vert }_2^2\right]& & (148)\end{array}$$

在这里，$s_{\theta }(x_t,t)$ 是一个神经网络，用于学习预测分数函数 ${\nabla }_{x_t}\log p(x_t)$，即数据空间中任意噪声水平 $t$ 下的 $x_t$ 的梯度。

敏锐的读者会注意到，分数函数 $\nabla \log p(x_t)$ 的形式与源噪声 ${ϵ}_0$ 极为相似。这可以通过将 Tweedie 公式（方程 133）与重参数化技巧（方程 115）结合起来显式地证明出来。

$$\begin{array}{rl}{x}_0=\frac{x_t+(1-{\bar{\alpha }}_t)\nabla \log p(x_t)}{\sqrt{{\bar{\alpha }}_t}}& =\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_0}{\sqrt{{\bar{\alpha }}_t}}(149)\\ \therefore (1-{\bar{\alpha }}_t)\nabla \log p(x_t)& =-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_0(150)\\ \nabla \log p(x_t)& =-\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_0(151)\end{array}$$

6. 优化目标的推导

我们用神经网络 ${\mu }_{\theta }(x_t,t)$ 近似 ${\mu }_q(x_t,x_0)$：$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}{x}_t+\frac{1-{\alpha }_t}{\sqrt{{\alpha }_t}}{s}_{\theta }(x_t,t),$$ 其中 $s_{\theta }(x_t,t)$ 是神经网络的输出。

优化目标是： $$\arg \underset{\theta }{\min }{D}_{KL}(q(x_{t-1}|x_t,x_0)\Vert p_{\theta }(x_{t-1}|x_t)).$$

KL 散度的计算结果为： $$\arg \underset{\theta }{\min }\frac{1}{2{\sigma }_q^2(t)}\frac{(1-{\alpha }_t{)}^2}{{\alpha }_t}\Vert s_{\theta }(x_t,t)-\nabla \log p(x_t){\Vert }_2^2.$$

简化目标 $$\arg \underset{\theta }{\min }\Vert s_{\theta }(x_t,t)-\nabla \log p(x_t){\Vert }_2^2.$$

---

7. 分数函数和噪声的关系

通过 Tweedie公式和扩散模型的关系，可以推导分数函数和噪声之间的关系： $$\nabla \log p(x_t)=-\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_0.\text{\hspace{1em}(151)}$$

这表明，学习分数函数 $\nabla \log p(x_t)$ 等价于学习噪声 ${ϵ}_0$ 的负值。

---

8. 直观意义总结

1. Tweedie公式：修正样本 $x_t$ 偏差，估计其真实均值。
2. 优化目标：学习神经网络 $s_{\theta }(x_t,t)$，以近似分数函数或噪声。
3. 最终模型：通过随机采样时间步 $t$，以可扩展方式优化神经网络。

事实证明，这两个项之间仅相差一个随时间缩放的常数因子！得分函数衡量了如何在数据空间中移动以最大化对数概率；直观上，由于源噪声被添加到自然图像中以对其进行破坏，沿着其相反方向移动可以“去噪”图像，并且这是增加后续对数概率的最佳更新方式。我们的数学证明证实了这一直觉；我们已经明确证明了，学习建模得分函数等价于建模源噪声的负值（乘以一个缩放因子）。

因此，我们得出了三种优化VDM的等效目标：训练一个神经网络预测原始图像$x_0$、源噪声${ϵ}_0$或任意噪声级别下图像的得分函数$\nabla \log p(x_t)$。通过随机采样时间步$t$并最小化预测值与真实目标的范数，可以以可扩展的方式训练VDM。