论文阅读的附录（七）：Understanding Diffusion Models: A Unified Perspective（二）：公式46的推导

文章概括

引用：

@article{luo2022understanding,
  title={Understanding diffusion models: A unified perspective},
  author={Luo, Calvin},
  journal={arXiv preprint arXiv:2208.11970},
  year={2022}
}

Luo, C., 2022. Understanding diffusion models: A unified perspective. arXiv preprint arXiv:2208.11970.

原文： https://arxiv.org/abs/2208.11970
代码、数据和视频：https://arxiv.org/abs/2208.11970

文章解析原文：
论文笔记（六十三）Understanding Diffusion Models: A Unified Perspective（二）

要推导的公式

目标是推导公式：
$$q(x_t|x_{t-1},x_0)=\frac{q(x_{t-1}|x_t,x_0)q(x_t|x_0)}{q(x_{t-1}|x_0)}.\text{\hspace{1em}(46)}$$

1. 条件概率的定义

条件概率的基本定义为：
$$q(A|B)=\frac{q(A\cap B)}{q(B)},\text{其中 }q(B)>0.$$
对于多个条件的情况，比如 ( q(A|B, C) )，可以扩展为：
$$q(A|B,C)=\frac{q(A,B,C)}{q(B,C)}.$$

在我们的目标公式中，$q(x_t|x_{t-1},x_0)$ 表示在 $x_{t-1}$ 和 $x_0$ 已知的条件下，$x_t$ 的分布。因此：
$$q(x_t|x_{t-1},x_0)=\frac{q(x_t,x_{t-1},x_0)}{q(x_{t-1},x_0)}.\text{\hspace{1em}(1)}$$

2. 联合分布的分解

我们需要分解联合分布 $q(x_t,x_{t-1},x_0)$。以下是基础逻辑：

2.1 联合分布的定义

联合分布 $q(x_t,x_{t-1},x_0)$ 表示 $x_t,x_{t-1},x_0$ 同时发生的概率。根据 概率链式法则（Chain Rule of Probability），联合分布可以逐步分解为条件概率的乘积：
$$q(x_t,x_{t-1},x_0)=q(x_{t-1}|x_t,x_0)q(x_t|x_0).\text{\hspace{1em}(2)}$$

这一步基于条件概率的定义：

• $q(x_{t-1}|x_t,x_0)$：在 $x_t$ 和 $x_0$ 已知的条件下，$x_{t-1}$ 的分布。
• $q(x_t|x_0)$：在 $x_0$ 已知的情况下，$x_t$ 的边际分布。

2.2 为什么可以这样分解？

根据概率论的链式规则：
$$q(A,B,C)=q(A|B,C)q(B,C).$$
在这里，设 $A=x_{t-1}$，$B=x_t$，$C=x_0$，我们可以写成：
$$q(x_{t-1},x_t,x_0)=q(x_{t-1}|x_t,x_0)q(x_t,x_0).$$

接着，再对 $q(x_t,x_0)$ 应用链式规则：
$$q(x_t,x_0)=q(x_t|x_0)q(x_0).$$

因此：
$$q(x_{t-1},x_t,x_0)=q(x_{t-1}|x_t,x_0)q(x_t|x_0)q(x_0).$$

在本问题中，$q(x_0)$ 是常量，不影响条件概率的形式，所以我们可以简化为：
$$q(x_t,x_{t-1},x_0)=q(x_{t-1}|x_t,x_0)q(x_t|x_0).$$

2.3 具体意义

• 分解的直观意义：假设我们已经知道 $x_t$ 和全局变量 $x_0$ 的值，那么我们可以首先用 $q(x_{t-1}|x_t,x_0)$ 表示 $x_{t-1}$ 的条件概率，再用 $q(x_t|x_0)$ 表示 $x_t$ 的边际分布。

• 为什么分解成这两项？

  • 这是因为 $q(x_t|x_0)$ 表示的是全局信息（全局分布）。
  • 而 $q(x_{t-1}|x_t,x_0)$ 捕捉的是局部的条件关系。

3. 分母的分解：边际化规则

分母 $q(x_{t-1},x_0)$ 是 $x_{t-1}$ 和 $x_0$ 的联合分布，可以通过边际化 $x_t$ 得到：
$$q(x_{t-1},x_0)=\int q(x_t,x_{t-1},x_0)d{x}_t.\text{\hspace{1em}(4)}$$

将公式 (2) 中的分解 $q(x_t,x_{t-1},x_0)=q(x_{t-1}|x_t,x_0)q(x_t|x_0)$ 代入公式 (4)：
$$q(x_{t-1},x_0)=\int q(x_{t-1}|x_t,x_0)q(x_t|x_0)d{x}_t.\text{\hspace{1em}(5)}$$

4. 最终公式的推导

将公式 (5) 的分母代入公式 (3)，得到：
$$q(x_t|x_{t-1},x_0)=\frac{q(x_{t-1}|x_t,x_0)q(x_t|x_0)}{\int q(x_{t-1}|x_t,x_0)q(x_t|x_0)d{x}_t}.$$

现在，我们需要注意的是：

1. 分子部分完全匹配公式 (46)。
2. 分母部分的归一化形式也与公式 (46) 一致。

为了便于理解，分母中的积分项 $\int q(x_{t-1}|x_t,x_0)q(x_t|x_0)d{x}_t$ 在公式 (46) 中直接用 $q(x_{t-1}|x_0)$ 表示。

5. 为什么分母可以表示为 $q(x_{t-1}|x_0)$

通过边际化定义：
$$q(x_{t-1}|x_0)=\int q(x_{t-1},x_t|x_0)d{x}_t.$$

进一步分解 $q(x_{t-1},x_t|x_0)$：
$$q(x_{t-1},x_t|x_0)=q(x_{t-1}|x_t,x_0)q(x_t|x_0).$$

1. 条件概率的链式规则

根据条件概率的定义，联合概率 $q(A,B|C)$ 可以分解为： $$q(A,B|C)=q(A|B,C)q(B|C).$$

符号解释：

• $q(A,B|C)$：表示在 $C$ 已知的条件下，事件 $A$ 和 $B$ 同时发生的概率。
• $q(A|B,C)$：表示在 $B$ 和 $C$ 已知的条件下，事件 $A$ 的条件概率。
• $q(B|C)$：表示在 $C$ 已知的条件下，事件 $B$ 的条件概率。

代入后得到：
$$q(x_{t-1}|x_0)=\int q(x_{t-1}|x_t,x_0)q(x_t|x_0)d{x}_t.$$

因此，分母 $q(x_{t-1}|x_0)$ 确实是公式 (46) 中的形式。

6. 公式 (46) 的最终形式

结合以上推导，公式 (46) 的最终形式是：
$$q(x_t|x_{t-1},x_0)=\frac{q(x_{t-1}|x_t,x_0)q(x_t|x_0)}{q(x_{t-1}|x_0)}.$$

7. 逐步推导总结

1. 从条件概率的定义出发：
   $$q(x_t|x_{t-1},x_0)=\frac{q(x_t,x_{t-1},x_0)}{q(x_{t-1},x_0)}.$$

2. 联合分布的分解：
   $$q(x_t,x_{t-1},x_0)=q(x_{t-1}|x_t,x_0)q(x_t|x_0).$$

3. 分母的边际化：
   $$q(x_{t-1},x_0)=\int q(x_{t-1}|x_t,x_0)q(x_t|x_0)d{x}_t.$$

4. 最终公式的组合：
   $$q(x_t|x_{t-1},x_0)=\frac{q(x_{t-1}|x_t,x_0)q(x_t|x_0)}{q(x_{t-1}|x_0)}.$$