贝叶斯统计：高斯分布均值μ的后验分布推导

使用贝叶斯统计方法

均值 ( $\mu$ ) 的后验分布解析

在贝叶斯统计中，后验分布表示在观察到数据后，对参数的更新后的信念。本篇文章将结合高斯分布的假设，详细解析均值 ( $\mu$ ) 的后验分布推导过程，并对 ( $\mu$ ) 的含义进行深入探讨。

1. 问题背景

假设我们有一个数据集 ( D = { x 1 , x 2 , … , x N } D = \{x_1, x_2, \dots, x_N\} D={x1​,x2​,…,xN​} )，其中每个样本 ( $x_i$ ) 独立同分布，且服从同一个高斯分布 ( $\mathcal{N}(\mu ,{\sigma }^2)$ )。目标是基于数据 ( $D$ ) 推断均值 ( $\mu$ ) 的分布。

已知：

• 方差 ( ${\sigma }^2$ ) 是已知常数；
• 均值 ( $\mu$ ) 的先验分布服从高斯分布 ( $\mathcal{N}({\mu }_0,{\sigma }_0^2)$ )。

问题： 根据贝叶斯公式，推导均值 ( $\mu$ ) 的后验分布 ( $p(\mu |D)$ )。

2. 数据似然函数

根据高斯分布的假设，数据的似然函数 ( $p(D|\mu ,{\sigma }^2)$ ) 表示在给定参数 ( $\mu$ ) 和 ( ${\sigma }^2$ ) 下，观察到数据 ( $D$ ) 的概率：

$$p(D|\mu ,{\sigma }^2)=\prod _{i=1}^N\mathcal{N}(x_i|\mu ,{\sigma }^2)=\frac{1}{(2\pi {\sigma }^2{)}^{N/2}}\exp \left(-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2\right)$$
这个公式描述了在给定 ( $\mu$ ) 和 ( ${\sigma }^2$ ) 时，样本 ( $x_1,x_2,\dots ,x_N$ ) 偏离 ( $\mu$ ) 的程度。

3. 均值 ( $\mu$ ) 的先验分布

贝叶斯方法需要结合先验分布。假设均值 ( $\mu$ ) 的先验分布为高斯分布：

$$p(\mu )=\mathcal{N}(\mu |{\mu }_0,{\sigma }_0^2)$$

• ( ${\mu }_0$ )： 先验高斯分布的均值，表示对均值 ( $\mu$ ) 的初始估计。
• ( ${\sigma }_0^2$ )： 先验高斯分布的方差，表示对均值 ( $\mu$ ) 不确定性的程度。

4. 后验分布推导

根据贝叶斯公式：
$$p(\mu |D)\propto p(D|\mu )\cdot p(\mu )$$

将似然函数和先验分布代入后，后验分布 ( $p(\mu |D)$ ) 的形式为：

$$p(\mu |D)\propto \exp \left(-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2\right)\cdot \exp \left(-\frac{1}{2{\sigma }_0^2}(\mu -{\mu }_0{)}^2\right)$$

通过合并指数项，可以化简为一个新的高斯分布形式：
$$p(\mu |D)=\mathcal{N}(\mu |{\mu }_N,{\sigma }_N^2)$$
其中：

• 后验均值 ( ${\mu }_N$ )：
  $${\mu }_N=\frac{\frac{{\mu }_0}{{\sigma }_0^2}+\frac{{\sum }_{i=1}^N{x}_i}{{\sigma }^2}}{\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}}$$
  表示综合了先验均值 ( ${\mu }_0$ ) 和观测数据 ( $D$ ) 的均值的加权结果。

• 后验方差 ( ${\sigma }_N^2$ )：
  $${\sigma }_N^2=\frac{1}{\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}}$$
  表示观测数据和先验不确定性的综合结果。

5. 参数 ( $\mu$ ) 的含义

( $\mu$ ) 是高斯分布的均值，表示数据中心位置的估计值。它的物理意义和统计意义如下：

1. 物理意义： 数据的中心趋势。例如，在测量过程中，( $\mu$ ) 可以表示测量值的平均水平。
2. 统计意义： 反映了对数据生成过程的理解，是一个重要的参数估计值。

从后验分布的推导中可以看到，均值 ( $\mu$ ) 的估计结合了观测数据和先验知识，两者的重要性由方差 ( ${\sigma }^2$ ) 和 ( ${\sigma }_0^2$ ) 决定。

6. 小结

• 先验知识的重要性： 当数据量较少时，先验分布对 ( $\mu$ ) 的估计起主导作用；当数据量足够多时，后验分布更接近于数据的似然分布。
• 后验分布的核心思想： 通过结合先验知识和观测数据，动态调整对 ( $\mu$ ) 的估计。

以上内容可以帮助我们更深入地理解贝叶斯方法中参数估计的过程及其实际意义。

似然分布的解释

在贝叶斯统计中，似然分布（Likelihood）指的是在给定参数的情况下，数据出现的概率。简单来说，似然分布表示的是在特定参数假设下，观察到数据的可能性。

为了更好地理解，假设我们正在研究一个高斯分布模型，其中我们要估计的参数是均值 ( $\mu$ )，而数据 ( D = { x 1 , x 2 , … , x N } D = \{x_1, x_2, \dots, x_N\} D={x1​,x2​,…,xN​} ) 假设是从一个已知方差 ( ${\sigma }^2$ ) 的正态分布中采样的。那么似然分布就是给定参数 ( $\mu$ ) 下，这些观测数据 ( $x_1,x_2,...,x_N$ ) 出现的概率。

似然分布的数学表达式

对于一个高斯分布，数据点 ( $x_i$ ) 的概率密度函数是：
$$p(x_i|\mu )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right)$$

整个数据集的似然分布就是每个数据点出现的概率的乘积：
$$p(D|\mu )=\prod _{i=1}^{N}p(x_i|\mu )=\prod _{i=1}^N\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right)$$

这里的 ( $p(D|\mu )$ ) 就是似然函数，它表示在已知 ( $\mu$ ) 的情况下，观测到数据 ( $D$ ) 的概率。

似然分布在贝叶斯更新中的作用

在贝叶斯推理中，似然分布的作用是根据当前观测到的数据，给出数据如何支持不同参数值的证据。这与先验分布不同，先验分布表示的是在没有数据的情况下，对参数的初步假设，而似然分布则是数据提供的证据，它让我们知道如果参数是某个值，数据出现的可能性有多大。

先验分布和似然分布的结合

在贝叶斯推理中，先验分布与似然分布结合，得出后验分布。后验分布代表了在观察到数据之后，对参数的更新信念。具体来说：

• 先验分布反映了在没有数据时对参数的假设。
• 似然分布描述了在给定参数的情况下，数据出现的概率。
• 后验分布是将先验信息与数据的似然信息结合后的结果，给出了我们在观察到数据后对参数的新估计。

数据量对先验和后验的影响

• 当数据量较少时，先验分布的影响较大，因为数据无法提供足够的证据来驱动参数的更新。此时，后验分布会更加依赖先验分布，且参数的估计会受到先验假设的强烈影响。

• 当数据量足够多时，似然分布提供的证据足够强大，能够主导后验分布的形状。此时，先验分布对后验分布的影响逐渐减弱，后验分布会更接近于仅由数据决定的似然分布。也就是说，当我们有大量数据时，贝叶斯推理的结果会趋向于频率主义统计的估计。

总结

似然分布是一个在贝叶斯统计中用于更新参数信念的重要组成部分，它描述了数据在不同假设参数下的概率。在数据量较少时，先验分布起主导作用，但随着数据量的增加，似然分布提供的证据变得更加重要，最终使得后验分布更接近于由数据决定的估计。

似然分布和似然函数的区别

请参考笔者的另一篇博文: 似然分布（Likelihood Distribution）和似然函数（Likelihood Function）有什么区别？中英双语

后记

2024年11月28日15点55分于上海，在GPT4o大模型辅助下完成。