模式识别-Ch3-贝叶斯估计

贝叶斯估计

贝叶斯估计是概率密度估计中另一类主要的参数估计方法。其结果在很多情况下与最大似然法十分相似，但是，两种方法对问题的处理视角是不一样的。

上面公式给出的是一维下估计。

基本方法

参数先验分布$p(\theta )$：是在没有任何数据时，有关参数$\theta$的分布情况（根据领域知识或经验）

给定样本集 D = { x 1 , x 2 , ⋯   , x n } D = \{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n\} D={x1​,x2​,⋯,xn​}，数据独立采样，且服从数据分布：(数据是互相独立的)
$$p(D|\theta )=p({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n|\theta )=\prod _{i=1}^{n}p({\mathbf{x}}_i|\theta )$$
利用贝叶斯公式计算参数的后验分布$p(\theta |D)$： $p(\theta |D)$中融合了先验知识和数据信息。
$$p(\theta |D)=\frac{p(D|\theta )p(\theta )}{p(D)}$$
$p(D)$是与参数无关的归一化因子，根据全概率公式（连续）：
$$\begin{gathered} p(D)=\sum _{\theta }p(D|\theta )p(\theta ) \\ p(D)={\int }_{\theta }p(D|\theta )p(\theta )d\theta \\ p(D|\theta )\Rightarrow p(x|\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{1}{2}\frac{(x-\mu {)}^2}{{\sigma }^2}\right) \end{gathered}$$
对于一般情况，计算$p(D)$十分困难

可得贝叶斯参数估计中的后验概率密度函数：
$$\begin{gathered} p(\theta |D)=\frac{p(D|\theta )p(\theta )}{{\int }_{\theta }p(D|\theta )p(\theta )d\theta }=\frac{{\prod }_{i=1}^{n}p({\mathbf{x}}_i|\theta )p(\theta )}{{\int }_{\theta }{\prod }_{i=1}^{n}p({\mathbf{x}}_i|\theta )p(\theta )d\theta }=\alpha \prod _{i=1}^{n}p({\mathbf{x}}_i|\theta )p(\theta ) \\ \alpha =\frac{1}{{\int }_{\theta }{\prod }_{i=1}^{n}p({\mathbf{x}}_i|\theta )p(\theta )d\theta } \end{gathered}$$

Q: 如何使用$p(\theta |D)$获得关于数据的分布？

得到$p(\theta |D)$只是获得了关于参数$\theta$的后验分布，并没有像最大似然估计那样获得参数$\theta$的具体取值。

方法1	方法2	方法3
对$p(\theta |D)$采样，计算平均值	最大后验估计(Maximum A Posteriori estimation, MAP)	后验数据分布(完整的贝叶斯方法)
$\hat{\theta }=\frac{1}{M}{\sum }_{i=1}^M{\theta }_i,{\theta }_i\sim p(\theta |D),i=1,\cdots ,M$	KaTeX parse error: {align} can be used only in display mode.	$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$

PR/ML方法中普遍使用的L2正则，等价于假设参数服从$N(0,I)$

后验数据分布

最终目的：根据$D$中的样本来估计概率密度函数$p(x|D)$。

比如，假定观测样本服从正态分布$p(x|\mu ,\Sigma )$，给定$D$，可以估计得到具体的$\mu$和$\Sigma$的取值，代入如下公式可得关于样本的密度分布函数：
$$p(x|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)$$
但现在获得了有关$\theta$的后验估计$p(\theta |D)$，如何估计$p(x|D)$？

考虑全概率公式和边际分布：
$$\begin{array}{rl}p(x|D)& ={\int }_{\theta }p(x,\theta |D)d\theta \\ & ={\int }_{\theta }p(x|\theta )p(\theta |D)d\theta \end{array}$$

• $p(x|\theta )=p(x|\theta ,D)$: 在给定参数$\theta$时，样本分布与训练集$D$无关
• ${\int }_{\theta }p(x|\theta )p(\theta |D)d\theta$: 不同参数的密度函数的加权平均

积分通常很难计算，使用蒙特卡洛近似方法： 是$M$个不同参数的密度函数的平均。
$$\hat{p}(x|D)=\frac{1}{M}\sum _{i=1}^{M}p(x|{\theta }_i),{\theta }_i\sim p(\theta |D),i=1,\cdots ,M$$

一维情形：假定$X\sim N(\mu ,{\sigma }^2)$且仅$\mu$未知

假定参数$\mu$的先验概率也服从正态分布： $\mu \sim N({\mu }_0,{\sigma }_0^2)$
$$p(x|\mu )=N(\mu ,{\sigma }^2),p(\mu )=N({\mu }_0,{\sigma }_0^2)$$
第一个任务：给定样本集$D$，在上述条件下，估计关于参数的后验分布$p(\mu |D)$。

回顾我们前面得到的公式：
$$p(\theta |D)=\frac{{\prod }_{i=1}^{n}p({\mathbf{x}}_i|\theta )p(\theta )}{{\int }_{\theta }{\prod }_{i=1}^{n}p({\mathbf{x}}_i|\theta )p(\theta )d\theta }=\alpha \prod _{i=1}^{n}p({\mathbf{x}}_i|\theta )p(\theta )$$
（应用后验估计）
$$\begin{array}{rl}p(\mu |D)& =\alpha \prod _{i=1}^{n}p({\mathbf{x}}_i|\mu )p(\mu )\\ & =\alpha \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{1}{2}\frac{({\mathbf{x}}_i-\mu {)}^2}{{\sigma }^2}\right)\frac{1}{\sqrt{2\pi }{\sigma }_0}\exp \left(-\frac{1}{2}\frac{(\mu -{\mu }_0{)}^2}{{\sigma }_0^2}\right)\\ & ={\alpha }^{\prime }\prod _{i=1}^n\exp \left\{-\frac{1}{2}\sum _{i=1}^n\frac{({\mathbf{x}}_i-\mu {)}^2}{{\sigma }^2}-\frac{n}{2}\frac{(\mu -{\mu }_0{)}^2}{{\sigma }_0^2}\right\}\\ & ={\alpha }^{\prime }\exp \left\{-\frac{1}{2}\left[\left(\frac{1}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}\right){\mu }^2-2\left(\frac{1}{{\sigma }^2}\sum _{i=1}^n{\mathbf{x}}_i+\frac{{\mu }_0}{{\sigma }_0^2}\right)\mu \right]\right\}\\ & ={\alpha }^{\prime \prime }\exp \left\{-\frac{1}{2}\left[\left(\frac{{\sigma }_0^2+{\sigma }^2}{{\sigma }^2{\sigma }_0^2}\right){\mu }^2-2\left(\frac{1}{{\sigma }^2}\sum _{i=1}^n{\mathbf{x}}_i+\frac{{\mu }_0}{{\sigma }_0^2}\right)\mu \right]\right\}\end{array}$$

一维后验分布的性质

• $p(\mu |D)$是关于$\mu$的二次函数的$\text{exp}$函数，因此，也是一个正态分布密度函数。
• $p(\mu |D)$被称为再生密度（reproducing density），因为对于任意数量的训练样本，当样本数量$n$增加时，$p(\mu |D)$仍然保持正态分布。

由于$p(\mu |D)$是一个正态密度函数，我们可以将其改写为如下形式：
$$p(\mu |D)\sim N({\mu }_n,{\sigma }_n^2)=\frac{1}{\sqrt{2\pi {\sigma }_n^2}}\exp \left(-\frac{1}{2}\frac{(\mu -{\mu }_n{)}^2}{{\sigma }_n^2}\right)$$
同时，我们也得到其公式为
$$\begin{gathered} p(\mu |D)={\alpha }^{\prime }\exp \left\{-\frac{1}{2}\left[\left(\frac{n}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}\right){\mu }^2-2\left(\frac{1}{{\sigma }^2}\sum _{i=1}^n{\mathbf{x}}_i+\frac{{\mu }_0}{{\sigma }_0^2}\right)\mu \right]\right\} \\ \frac{1}{{\sigma }_n^2}=\frac{n}{{\sigma }^2}+\frac{1}{{\sigma }_0^2},\frac{{\mu }_n}{{\sigma }_n^2}=\frac{n}{{\sigma }^2}{\bar{\mu }}_n+\frac{{\mu }_0}{{\sigma }_0^2},{\bar{\mu }}_n=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i \end{gathered}$$
进一步可解得：
$${\mu }_n=\frac{n{\sigma }_0^2}{n{\sigma }_0^2+{\sigma }^2}{\bar{\mu }}_n+\frac{{\sigma }^2}{n{\sigma }_0^2+{\sigma }^2}{\mu }_0,{\sigma }_n^2=\frac{{\sigma }^2{\sigma }_0^2}{n{\sigma }_0^2+{\sigma }^2}$$
这些方程展示了先验信息如何与样本中的经验信息相结合以获得后验密度$p(\mu |D)$。

• ${\mu }_n$：代表在获得$n$个样本后对$\mu$的最佳猜测。
• ${\sigma }_n^2$：衡量对$\mu$猜测的不确定性。
• 因为${\sigma }_n^2$随$n$单调递减，每增加一个观测值都将有助于减少我们对$\mu$真实值的不确定性。（这种先验起到了平滑的效果，导致了更加鲁棒的估计）

后验分布的变化趋势：因为$({\sigma }_n{)}^2$随$n$单调递减，每增加一个观测值都将有助于减少我们对$\mu$真实值的不确定性。随着$n$的增加，$p(\mu |D)$变得越来越尖锐，当$n$趋于无穷大时，趋近于狄拉克δ函数（Dirac delta function）。

现在，我们希望获得后验数据分布 ：
$$\begin{array}{rl}p(\mathbf{x}|D)& ={\int }_{\mu }p(\mathbf{x}|\mu )p(\mu |D)d\mu \\ & ={\int }_{\mu }\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{1}{2}\frac{(\mathbf{x}-\mu {)}^2}{{\sigma }^2}\right)\frac{1}{\sqrt{2\pi }{\sigma }_n}\exp \left(-\frac{1}{2}\frac{(\mu -{\mu }_n{)}^2}{{\sigma }_n^2}\right)d\mu \\ & =\frac{1}{2\pi \sigma {\sigma }_n}{\int }_{\mu }\exp \left(-\frac{1}{2}\left[\frac{(\mathbf{x}-\mu {)}^2}{{\sigma }^2}+\frac{(\mu -{\mu }_n{)}^2}{{\sigma }_n^2}\right]\right)d\mu \\ & ={\int }_{\mu }\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{1}{2}\frac{(\mathbf{x}-{\mu }_n{)}^2}{{\sigma }^2+{\sigma }_n^2}\right)f(\sigma ,{\sigma }_n)\\ f(\sigma ,{\sigma }_n)& ={\int }_{\mu }\frac{1}{\sqrt{2\pi \sigma }}\exp \left(-\frac{1}{2}\frac{{\sigma }^2+{\sigma }_n^2}{{\sigma }^2{\sigma }_n^2}{\left(\mu -\frac{{\sigma }^2\mathbf{x}+{\sigma }_n^2{\mu }_n}{{\sigma }^2+{\sigma }_n^2}\right)}^2\right)d\mu \end{array}$$

可以将$p(\mathbf{x}|D)$视为服从正态分布$N({\mu }_n,{\sigma }^2+{\sigma }_n^2)$

多元情形：高维

已知条件是：
$$\begin{array}{rl}p(\mathbf{x}|\mu )& \sim N(\mu ,\Sigma ),p(\mu )\sim N({\mu }_0,{\Sigma }_0)\\ p(\theta |D)& =\alpha \prod _{i=1}^{n}p({\mathbf{x}}_i|\theta )p(\theta )\\ & ={\alpha }^{\prime }\exp \left\{-\frac{1}{2}{\mu }^T(n{\Sigma }^{-1}+{\Sigma }_0^{-1})\mu -2{\mu }^T({\Sigma }^{-1}\sum _{i=1}^n{\mathbf{x}}_i+{\Sigma }_0^{-1}{\mu }_0)\right\}\\ & ={\alpha }^{\prime \prime }\exp \left\{-\frac{1}{2}(\mu -{\mu }_n{)}^T{\Sigma }_n^{-1}(\mu -{\mu }_n)\right\}\end{array}$$
参照上面一维的情况，可以推出：
$$\begin{array}{rl}p(\theta |D)& ={\alpha }^{\prime \prime }\exp \left\{-\frac{1}{2}(\mu -{\mu }_n{)}^T{\Sigma }_n^{-1}(\mu -{\mu }_n)\right\}\Rightarrow p(\theta |D)\sim N({\mu }_n,{\Sigma }_n)\\ \Rightarrow {\Sigma }_n^{-1}& =n{\Sigma }^{-1}+{\Sigma }_0^{-1},{\Sigma }_n^{-1}{\mu }_n=n{\Sigma }^{-1}{\hat{\mu }}_n+{\Sigma }_0^{-1}{\mu }_0,{\hat{\mu }}_n=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i\\ {\mu }_n& ={\Sigma }_0({\Sigma }_0+n^{-1}\Sigma {)}^{-1}{\hat{\mu }}_n+({\Sigma }_0+n^{-1}\Sigma {)}^{-1}{\Sigma }_0{\mu }_0\\ {\Sigma }_n& ={\Sigma }_0({\Sigma }_0+n^{-1}\Sigma {)}^{-1}\frac{1}{n}\Sigma \end{array}$$

$(A^{-1}+B^{-1}{)}^{-1}=A(A+B{)}^{-1}B=B(A+B{)}^{-1}A$

数据后验分布服从正态分布：
$$p(\mathbf{x}|D)={\int }_{\mu }p(\mathbf{x}|\mu )p(\mu |D)d\mu \sim N({\mu }_n,\Sigma +{\Sigma }_n)$$