基于高斯噪声模型的信号去噪——图像相加去噪的理论保证

与廖老师讨论参数估计理论，意外地发现图像相加有理论保证，当噪声服从独立同分布的高斯分布时，用样本均值估计是极大似然估计，也是最小二乘估计，还是线性最小均方估计。

禹晶、肖创柏、廖庆敏《数字图像处理（面向新工科的电工电子信息基础课程系列教材）》

问题定义

假设有一个信号$f$，受到高斯噪声的影响，有一组观测数据 g = { g 1 , g 2 , … , g n } \mathbf{g} = \{g_1, g_2, \ldots, g_n\} g={g1​,g2​,…,gn​}，这些数据是独立同分布的高斯随机变量，每个观测值$g_i$ 可以表示为：

$$g_i=f+n_i$$
其中：
-$f$ 是真实的信号值。
-$n_i$ 是均值为 0、方差为${\sigma }^2$ 的高斯噪声。

基于高斯噪声模型的极大似然估计（Maximum Likelihood Estimation, MLE）

1. 高斯噪声模型

高斯噪声的概率密度函数（PDF）为：

$$P(g_i|f)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(g_i-f{)}^2}{2{\sigma }^2}\right)$$

2. 联合概率密度函数

由于每个观测值$g_i$ 是独立同分布的，所以$n$ 个观测值的联合概率密度函数为：

$$P(\mathbf{g}|f)=\prod _{i=1}^{n}P(g_i|f)$$

代入高斯噪声的 PDF：

$$P(\mathbf{g}|f)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(g_i-f{)}^2}{2{\sigma }^2}\right)$$

3. 对数似然函数

为了简化计算，我们取对数似然函数：

$$\ln P(\mathbf{g}|f)=\sum _{i=1}^n\ln \left(\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(g_i-f{)}^2}{2{\sigma }^2}\right)\right)$$

$$\ln P(\mathbf{g}|f)=\sum _{i=1}^n\left(-\frac{1}{2}\ln (2\pi {\sigma }^2)-\frac{(g_i-f{)}^2}{2{\sigma }^2}\right)$$

忽略常数项，我们得到：

$$\ln P(\mathbf{g}|f)=-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(g_i-f{)}^2$$

4. 最大似然估计

为了最大化对数似然函数，我们需要最小化以下目标函数：

$$J(f)=\sum _{i=1}^n(g_i-f{)}^2$$

这是一个二次函数，可以通过求导并令导数为零来找到最小值：

$$\frac{dJ(f)}{df}=-2\sum _{i=1}^n(g_i-f)=0$$

解这个方程：

$$\sum _{i=1}^n{g}_i-nf=0$$

$$f=\frac{1}{n}\sum _{i=1}^n{g}_i$$

5. 结论

因此，基于高斯噪声模型的极大似然估计（MLE）结果是：

$$\hat{f}=\frac{1}{n}\sum _{i=1}^n{g}_i$$

即，观测值的算术平均值。

这个结果表明，在高斯噪声假设下，通过最大似然估计得到的最佳估计值就是这些像素点的算术平均值。在高斯噪声模型中，算术平均值也是最小二乘估计的最优解。

基于高斯噪声模型的线性最小均方估计

线性最小均方估计的目标是找到一个线性估计器，使得估计值与真实值之间的均方误差最小。

1.线性最小均方估计

线性最小均方估计的目标是找到一个线性估计器$\hat{f}$，使得估计值与真实值之间的均方误差最小。假设我们有$n$ 个观测值$g_1,g_2,\dots ,g_n$，线性估计器的形式为：

$$\hat{f}=\sum _{i=1}^n{w}_i{g}_i$$

其中$w_i$ 是权重，满足${\sum }_{i=1}^n{w}_i=1$。

2. 均方误差

均方误差（MSE）定义为：

$$\text{MSE}=E[(\hat{f}-f{)}^2]$$

代入线性估计器的形式：

$$\text{MSE}=E\left[{\left(\sum _{i=1}^n{w}_i{g}_i-f\right)}^2\right]$$

3. 代入观测模型

将观测模型$g_i=f+n_i$ 代入均方误差：

$$\text{MSE}=E\left[{\left(\sum _{i=1}^n{w}_i(f+n_i)-f\right)}^2\right]$$

$$\text{MSE}=E\left[{\left(\sum _{i=1}^n{w}_{i}f+\sum _{i=1}^n{w}_i{n}_i-f\right)}^2\right]$$

$$\text{MSE}=E\left[{\left(f\sum _{i=1}^n{w}_i+\sum _{i=1}^n{w}_i{n}_i-f\right)}^2\right]$$

由于${\sum }_{i=1}^n{w}_i=1$，上式可以简化为：

$$\text{MSE}=E\left[{\left(f+\sum _{i=1}^n{w}_i{n}_i-f\right)}^2\right]$$

$$\text{MSE}=E\left[{\left(\sum _{i=1}^n{w}_i{n}_i\right)}^2\right]$$

4. 计算均方误差

由于$n_i$ 是独立同分布的高斯噪声，其均值为 0，方差为${\sigma }^2$，因此：

$$E\left[{\left(\sum _{i=1}^n{w}_i{n}_i\right)}^2\right]=\sum _{i=1}^n{w}_i^{2}E[n_i^2]+2\sum _{i<j}{w}_i{w}_{j}E[n_i{n}_j]$$

由于$E[n_i{n}_j]=0$ （因为$n_i$ 和$n_j$ 是独立的），上式进一步简化为：

$$E\left[{\left(\sum _{i=1}^n{w}_i{n}_i\right)}^2\right]=\sum _{i=1}^n{w}_i^{2}E[n_i^2]$$

由于$E[n_i^2]={\sigma }^2$，我们得到：

$$\text{MSE}={\sigma }^2\sum _{i=1}^n{w}_i^2$$

5. 最小化均方误差

为了最小化均方误差$\text{MSE}$，我们需要最小化${\sum }_{i=1}^n{w}_i^2$。在约束条件${\sum }_{i=1}^n{w}_i=1$ 下，使用拉格朗日乘数法：

$$L(w_1,w_2,\dots ,w_n,\lambda )=\sum _{i=1}^n{w}_i^2+\lambda \left(1-\sum _{i=1}^n{w}_i\right)$$

对$w_i$ 求偏导并令其为零：

$$\frac{\partial L}{\partial w_i}=2w_i-\lambda =0$$

解得：

$$w_i=\frac{\lambda }{2}$$

代入约束条件${\sum }_{i=1}^n{w}_i=1$：

$$\sum _{i=1}^n\frac{\lambda }{2}=1$$

$$\frac{n\lambda }{2}=1$$

$$\lambda =\frac{2}{n}$$

因此：

$$w_i=\frac{1}{n}$$

6. 结论

最优的权重$w_i$ 为$\frac{1}{n}$，因此线性最小均方估计器为：

$$\hat{f}=\sum _{i=1}^n\frac{1}{n}{g}_i=\frac{1}{n}\sum _{i=1}^n{g}_i$$

在高斯噪声模型中，最小化平方误差（即最小二乘估计）等价于最大似然估计。