现代数字信号处理I-P4 CRLB+LMMSE 学习笔记

目录

学习资料视频链接：

1. 估计参数的CRLB回顾

2. 参数变换下的CRLB拓展

3. 矢量参数下的CRLB扩展

3.1 矢量参数下的CRLB公式

 3.2 两个矩阵不等式关系的意义说明

3.3 矢量参数下CRLB公式的证明过程

4. 线性估计

重点注意事项：此处的线性估计，不是对应《统计信号处理基础》第六章最佳线性无偏估计量，而是介绍贝叶斯原理之后，对应的第十二章线性贝叶斯估计量，即LMMSE估计量，建议大家先了解贝叶斯原理。

4.1 线性估计方法的导入

4.2 n=m=1，标量LMMSE估计量的特殊情况

4.3 m=1，n>1：标量LMMSE估计量的一般情况

​编辑

重要：引入贝叶斯原理，才能理解此处标量情况下的LMMSE估计量

 4.4 m>1，n>1：矢量形式下的LMMSE估计量

学习资料视频链接：

4.cramer-rao下限_哔哩哔哩_bilibili

1. 估计参数的CRLB回顾

        基于上一次课程内容，明确了CRLB下界对数字信号处理及其重要，因为他给出了信号处理方法的性能边界。信号处理问题，本质上就是构造各种各样的估计函数，去估计例如频率、速度等参数。而CRLB给出了另外一个视角，就是不管各种估计方法是怎么实现的，直接给出了依托模型的估计性能下限，也就是直接给出了不依赖方法的最佳性能边界。CRLB的推导，也可以辅助我们从理论上去寻找一些MVUE估计量。我们重新描述一下估计参数的CRLB过程：

我们采集了一串n个采样点的数据：

其中我们假设采集的数据都服从分布：

其中是和分布模型相关的未知参数。我们希望通过采样数据和模型去估计参数，本质上是构造一个基于采样数据的一个函数：

我们希望满足基本特性，即无偏：

无偏条件下，估计的方差就等于均方误差：

其中，是Fisher信息：

2. 参数变换下的CRLB拓展

        接下来，我们对CRLB进行两个维度的拓展。

        首先是在已知某个估计参数的CRLB之后，是否可以直接获取基于该参数经过函数变换下的CRLB，即函数的CRLB，这个在实际工作中很常见。例如，我们已知理想放大器输入信号的CRLB，我们想知道理想放大器放大输出之后的CRLB等。

        此时，我们可以重新构造某个估计函数，确保估计的无偏性：

         根据期望的定义，得到：

        和CRLB的推导过程一致，首先我们对上式两边对求导，需要注意的是是的函数，而不是的函数，因此：

        同样采用Fisher技巧即:

那么：

因此代入：

        如果直接对分布积分求导，即对下式求导：

得到：

注意到与无关，因此可以随意进出积分号，此时两式相减，得到

利用克拉美劳和Cauchy-Schwarz不等式，得到：

即：

因此，上述就是参数发生变化时CRLB，变化就是分子上有导数的平方。

参数不变化是，，代入得到与之前一节课参数的CRLB一致。

3. 矢量参数下的CRLB扩展

3.1 矢量参数下的CRLB公式

        另外一个拓展，就是估计参数不是单个变量组成的标量，而是多个参数组成的矢量，此时需要求多维CRLB，即

        此时有m个参数需要估计，因此这m个参数都有对应的CRLB。

        另外需要注意的是，这些参数估计，都依赖于同一组采样数据，因此无法确保估计参数之间一定相互独立。因此，我们还希望知道这些参数在相互影响下对估计性能是否存在影响，因此在多维参数上不能仅局限于参数自己本身的方差，此时我们需要用协方差矩阵：

显然，是m*m维方阵，其中各个参数的方差，在的对角线上，而参数之间的关系，在的其他矩阵元素上。

        此时，需要将求导更换成梯度算子，Fisher信息矩阵重新定义为：

其中： 

表示梯度算子。

        和标量形式一样，也存在二阶导数形式：

其中为海森矩阵(Hessian Matrix)，又称黑塞矩阵，一个函数海森矩阵第i行j列个元素定义为：

那么先说结论：多维估计参数情况下的克拉美劳可以表示为：

 3.2 两个矩阵不等式关系的意义说明

矩阵中：

代表：是正定的（严格来说是非负定），也即是对于任意向量构成的二次型：

上述左边是一个行向量乘方阵再乘列向量，本质就是一个标量，也就是要求这个标量是大于等于0。

正定矩阵的性质：对角线元素都为正，特征值是正的等

具体可以参考：

正定矩阵的四个重要性质（附例子）-CSDN博客

3.3 矢量参数下CRLB公式的证明过程

        下面开始验证这个结果，与标量形式不同：本质上通过柯西不等式推广证明，矢量形式不一样。这个证明方法是Rao论文中的方法，与Kay书中的方法不一样。Kay书中的证明过程可以参考:

矢量形式的CRLB证明推导（不带参数变换）_crlb推导-CSDN博客

定义

其中待估计参数又m个，假设采样数据X是n个，那么X就是n*1维信息，那么的本质是将n维度信息映射到m维度，后续简写为, 是线性变换，因此是n维空间函数变换到m维空间。

因此，最终是m维的矢量

定义：

上述也是m维的的矢量

定义

那么是2m维度的矢量

对于任意没有随机性的向量,因为：

而是个标量元素，因此

因此，矩阵一定是正定的，而：

当是无偏估计是，，因此：

 而

根据定义，上述就是矢量情况下Fisher信息阵

继续计算： 

观察上述矩阵中第i行第j列元素：

由于：

因此：

而由于：

对于第i个估计量，也存在：

因此：

代入后得到：

上式就是的Jacobi矩阵的第i行第j列个元素，因此：

而

代入后得到：

且上述矩阵正定，因此：

 现在的技巧是进行矩阵变换，将和的地方变成0，此时构造左乘矩阵：

构造右乘矩阵：

本质上是：

由于

因此：

也是正定的

简单证明：对于任意x

此时将看成向量，根据的正定性，得到的正定性。

另外，对于对角正定矩阵，对角线上的子矩阵也都是正定的

也就得到：

所以，一般的CRLB： 

特殊情况下：

因此：

因此，此时：

与之前结果一致，证明完毕。

4. 线性估计

重点注意事项：此处的线性估计，不是对应《统计信号处理基础》第六章最佳线性无偏估计量，而是介绍贝叶斯原理之后，对应的第十二章线性贝叶斯估计量，即LMMSE估计量，建议大家先了解贝叶斯原理。

4.1 线性估计方法的导入

        CRLB没有给出具体的估计方法，只是给出了与模型有关的参数估计性能边界。

        现在有带估计的参数，和一些采集获取的数据，现在我们希望构造一个函数g，使得

        基于前面的分析，此问题的最优估计为：

         但是实际情况下，条件期望都很难计算。

        前面介绍的两种方法，分别通过确认充分统计量后采用Rao-Blackwell过程，或者是CRLB下限的方法，尝试寻找估计量的MVUE，但是实际情况下MVUE估计量通常也是不存在的。

        因此，在之前的理论方法都失效的情况下，我们进一步作出假设约束，以方便我们寻找实际的估计量。其中一个非常重要的假设是希望估计量和采集的数据之间是一个线性函数，此时我们很容易寻找到可以实现的估计量，同时我们希望该估计量在某些情况下也是最佳或者是准最佳的。

        因此我们希望这个估计是基于某个已知模型观测的一个线性表达形式：

假设是个n维基于模型的观测数据矢量，是个m维实测数据集矢量。本质上是用尽可能的逼近。

下面分三种情况讨论。

4.2 n=m=1，标量LMMSE估计量的特殊情况

此处是标量LMMSE估计量的特殊情况，即待估计参数是标量，采集参数也是标量。

首先，我们可以从函数极值角度理解，即采用均方根距离，此时就是需要寻找 ，使得：

此时，令：

对 求导得到：

令上式为0，得到极值点出的

此时Y的估计可以表示为：

其次，我们可以从几何方面理解，定义矢量空间的内积需要满足以下性质：

基于上面内积的定义，可以证明， 是一种内积：

1. 非负性/正定性

由概率密度 的非负性，得到 ，且上述积分为零，当且仅当

2. 交换性

3. 线性

其中，用到了边缘概率密度公式：

因此，   是一种内积运算。

进一步可以参考：

https://zhuanlan.zhihu.com/p/350620954

根据内积的几何性质，得到两个向量之间的夹角可以定义为：

定义

那么

        现在的问题是要在 的空间内找到最接近 的估计，使得 的长度最小，那么显然这段估计就是 在 的投影

        即此时的投影长度为：

        上述是长度，不带方向，如果要表示方向，那么还需要乘上 的单位方向，即：

再次利用  是一种内积运算，此时可以得到估计量为:

结果和上述求导结果一致。

4.3 m=1，n>1：标量LMMSE估计量的一般情况

此处对应基于一组观测量用线性估计一个参数

观测到一组数据：

需要确定一组线性系数

使得 的估计为采集数据的线性表达：

此时仍然用最小均方根距离来寻找 ，即：

根据向量求导的性质：

进一步可以参考：

线性代数笔记：标量、向量、矩阵求导_列向量求导-CSDN博客 

因此：

此时可以得到：

重要：引入贝叶斯原理，才能理解此处标量情况下的LMMSE估计量

如果定义：

因此：

上述结论，对应统计信号处理基础12.7式，即带估计参数 是一个零均值的随机变量。

本质上理解上式，是需要先讲贝叶斯原理，也就是此处待估计的y 已经不是一个确定的参数，而也是一个随机变量，因此此种情况下

 4.4 m>1，n>1：矢量形式下的LMMSE估计量

此时估计量是如下的矢量形式：

而观测数据是如下矩阵形式：

是每次观测的值，每次都有n个数据，即：

因此 是n*m的一个矩阵

是需要寻找的一组线性参数，即：

在每个待估计的参数上，都存在

即：

 因此，要寻找的 需要满足：

上述m个最小方程，可能会找到m个不同的 ，而我们希望找到整体最小的情况，一般情况我们可以更改约束条件为：

上述就是使整体误差最小情况下，寻找系数 ​​​​​​​

我们也有其他的约束情况，例如考虑不同估计结果的权重，引入：

​​​​​​​

或者将最大误差最小化后寻找系数：

​​​​​​​

上述几种约束形式，其实在工程中都很常用。

我们以一般情况为例，寻找均方误差求和最小情况下的系数

从上述表达，我们可以发现：

是1*m的行向量

是n*m的矩阵

是n*1的列向量

此时存在：

​​​​​​​ ​​​​​​​

定义：

​​​​​​​ ​​​​​​​ ​​​​​​​

其中：

因此：

​​​​​​​也就是我们将上述求和过程，表达成了矩阵乘法形式，因此求线性系数也就等同于：

​​​​​​​同样，我们令

得到：

​​​​​​​

对比上述三种情况，表达式可以统一成一致。

如果定义：

因此：

​​​​​​​

​​​​​​​

课上还有一段连续时间的介绍，此处不在记录。