模式识别-Ch2-高斯下判别函数

高斯密度下的判别函数

高斯分布

1. 在给定均值和方差的所有分布中，正态分布的熵最大
2. 根据Central Limit Theorem(中心极限定理)，大量独立随机变量之和趋近正态分布
3. 实际环境中，很多类别的特征分布趋近正态分布

多元正态分布：$\mathbf{x}=[x_1,x_2,\dots ,x_d{]}^T\in {\mathbb{R}}^d,\mathbf{\mu }=[{\mu }_1,{\mu }_2,\dots ,{\mu }_d{]}^T\in {\mathbb{R}}^d$

$\mathbf{\Sigma }\in {\mathbb{R}}^{d\times d}$:
$${\sigma }_{ij}^2=E\{(x_i-{\mu }_i)(x_j-{\mu }_j)\}={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x_i-{\mu }_i)(x_j-{\mu }_j)p(x_i,x_j)d{x}_{i}d{x}_j$$
边际分布密度函数：
$$p(x_i)={\int }_{-\infty }^{+\infty }\cdots {\int }_{-\infty }^{+\infty }p(\mathbf{x})d{x}_{1}d{x}_2\cdots d{x}_{i-1}d{x}_{i+1}\cdots d{x}_d$$

等密度轨迹

等密度轨迹为一超椭球面。从多元正态分布函数可以看出，当其指数项等于常数时，密度$p(\mathbf{x})$的值不变，因此等函数点即为使如下方程为常数的点，即： $(\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu}) = const. $

Mahalanobis距离（马氏距离）: $r^2=(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )$

性质

1. 不相关性=独立性

2. 边缘分布与条件分布均为正态分布

3. 多元正态随机变量的线性变换（非奇异）仍为多元正态分布的随机变量

4. 线性组合的正态性：若$\mathbf{x}$为多元正态随机变量，则线性组合$\mathbf{y}={\mathbf{a}}^T\mathbf{x}$是一个一维正态随机变量。

5. 对多元正态分布的协方差矩阵$\Sigma$可以进行正交分解。

   1. $$\Sigma =U\Lambda U^T$$
      $U$是$\Lambda$对应特征值的特征向量构成的矩阵，属于$R(\Sigma )$值域空间。

6. 线性变换 $y=A^T\mathbf{x},y\sim N(A^T\mu ,A^T\Sigma A)$
   $$\begin{gathered} Cov(AX)=ACov(X)A^T \\ 令A_w=U{\Lambda }^{-1/2},Cov(A^{T}X)={\Lambda }^{-1/2}U\Sigma U{\Lambda }^{-1/2}={\Lambda }^{-1/2}\Lambda {\Lambda }^{-1/2}=I \end{gathered}$$
   白化变换：对$\Sigma$进行归一化变成$I$.

最小错误率贝叶斯决策

对于$c$类问题，假定各类条件概率密度函数为多元正态分布：
$$p(\mathbf{x}|{\omega }_i)\sim N({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i),i=1,2,\dots ,c$$
判别函数(Quadratic discrimin function (QDF))：$(i = 1,2,\ldots,c) $
$$\begin{array}{rl}{g}_i(\mathbf{x})& =\ln (p(\mathbf{x}|{\omega }_i))+\ln (P({\omega }_i))\\ & =-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}_i^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)-\frac{d}{2}\ln (2\pi )-\frac{1}{2}\ln (|{\mathbf{\Sigma }}_i|)+\ln (P({\omega }_i))\end{array}$$
决策面方程 :
$$\begin{gathered} g_i(\mathbf{x})=g_j(\mathbf{x}) \\ -\frac{1}{2}\left((\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}_i^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)-(\mathbf{x}-{\mathbf{\mu }}_j{)}^T{\mathbf{\Sigma }}_j^{-1}(\mathbf{x}-{\mathbf{\mu }}_j)\right)-\frac{1}{2}\ln \left(\frac{|{\mathbf{\Sigma }}_i|}{|{\mathbf{\Sigma }}_j|}\right)+\ln \left(\frac{P({\omega }_i)}{P({\omega }_j)}\right)=0 \end{gathered}$$

第一种情形：${\mathbf{\Sigma }}_i={\sigma }^2\mathbf{I},i=1,2,\dots ,c$

这表明每个特征向量对应的方差都是独立同分布。

协方差矩阵:
$${\mathbf{\Sigma }}_i=\left[\begin{array}{cccc}{\sigma }^2& 0& \cdots & 0\\ 0& {\sigma }^2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }^2\end{array}\right],|{\mathbf{\Sigma }}_i|={\sigma }^{2d},{\mathbf{\Sigma }}_i^{-1}=\frac{1}{{\sigma }^2}\mathbf{I}$$
判别函数(Quadratic discrimin function (QDF))：
$$\begin{array}{rl}{g}_i(\mathbf{x})& =-\frac{1}{2{\sigma }^2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T(\mathbf{x}-{\mathbf{\mu }}_i)-\frac{d}{2}\ln (2\pi )-\frac{1}{2}\ln ({\sigma }^{2d})+\ln (P(w_i))\\ & =-\frac{1}{2{\sigma }^2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T(\mathbf{x}-{\mathbf{\mu }}_i)+\ln (P(w_i))\\ & =-\frac{1}{2{\sigma }^2}\Vert \mathbf{x}-{\mathbf{\mu }}_i{\Vert }_2^2+\ln (P(w_i))\end{array}$$

先验概率相等：$P(w_i)=P(w_j)$

此时，判别函数可进一步简化为：
$$g_i(\mathbf{x})=-\frac{1}{2{\sigma }^2}\Vert \mathbf{x}-{\mathbf{\mu }}_i{\Vert }_2^2$$
因此，最小错误率贝叶斯规则相当简单：

若要对样本$\mathbf{x}$进行分类，只需要计算$\mathbf{x}$到各类均值向量的欧氏距离平方，然后将归于距离最短的一类：
$$\arg \underset{i=1,2,\dots ,c}{\min }\Vert \mathbf{x}-{\mathbf{\mu }}_i{\Vert }^2$$
这种分类器称为最小距离分类器。

先验概率不相等：$P(w_i)\ne P(w_j)$

判别函数：
$$\begin{array}{rl}{g}_i(\mathbf{x})& =-\frac{1}{2{\sigma }^2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T(\mathbf{x}-{\mathbf{\mu }}_i)+\ln (P(w_i))\\ & =-\frac{1}{2{\sigma }^2}({\mathbf{x}}^T\mathbf{x}-2{\mathbf{\mu }}_i^T\mathbf{x}+{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i)+\ln (P(w_i))\\ & =\frac{1}{{\sigma }^2}{\mathbf{\mu }}_i^T\mathbf{x}-\frac{1}{2{\sigma }^2}{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i+\ln (P(w_i))\\ & ={\mathbf{w}}_i^T\mathbf{x}+{\mathrm{w}}_{i0}\end{array}$$
由于每一类的判别函数均包含${\mathbf{x}}^T\mathbf{x}$，与下标$i$无关，因此可以进一步简化为线性判别函数,得到判别函数$g_i(\mathbf{x})$是$\mathbf{x}$的线性函数。
$$\begin{gathered} g_i(x)={\mathbf{w}}_i^T\mathbf{x}+{\mathrm{w}}_{i0} \\ \{\begin{array}{ll}{\mathbf{w}}_i& =\frac{1}{{\sigma }^2}{\mathbf{\mu }}_i\\ {\mathrm{w}}_{i0}& =\ln (P(w_i))-\frac{1}{2{\sigma }^2}{\mathbf{\mu }}_i^T{\mathbf{\mu }}_i\end{array} \end{gathered}$$

决策规则： 若$g_k(\mathbf{x})={\max }_i{g}_i(\mathbf{x})$，则$\mathbf{x}\in w_k$

• 判别函数为线性函数的分类器称为线性分类器。

• 线性分类器的决策面方程为：$g_i(\mathbf{x})-g_j(\mathbf{x})=0$所确定的一个超平面。
  $$g_i(\mathbf{x})-g_j(\mathbf{x})=0\Rightarrow {\mathbf{w}}^T(\mathbf{x}-{\mathbf{x}}_0)=0$$

  先验概率相等$P(w_i)=P(w_j)$	先验概率不等$P(w_i)\ne P(w_j)$
  $\mathbf{w}={\mathbf{\mu }}_i-{\mathbf{\mu }}_j$	$\mathbf{w}={\mathbf{\mu }}_i-{\mathbf{\mu }}_j$
  ${\mathbf{x}}_0=\frac{1}{2}({\mathbf{\mu }}_i+{\mathbf{\mu }}_j)$	KaTeX parse error: {align} can be used only in display mode.

先验概率相等：取欧式距离的中点划分。

先验概率不等：根据$s_{ij}$的大小会偏斜 先验概率较小的一边。

• $P(w_i)>P(w_j),s_{ij}>0$: 会向$R_j$偏.
• $P(w_i)<P(w_j),s_{ij}>0$: 会向$R_i$偏.

第二种情形：${\mathbf{\Sigma }}_i=\mathbf{\Sigma },i=1,2,\dots ,c$

各类的协方差矩阵均相等。从几何上看，相当于各类样本集中于以该类均值${\mathbf{\mu }}_i$为中心但大小和形状相同的椭球内。

判别函数（Quadratic discriminant function (QDF)）：
$$\begin{array}{rl}{g}_i(\mathbf{x})& =\ln (p(\mathbf{x}|{\omega }_i))+\ln (P({\omega }_i))\\ & =-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)-\frac{d}{2}\ln (2\pi )-\frac{1}{2}\ln (|\mathbf{\Sigma }|)+\ln (P({\omega }_i))\\ & =-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)+\ln (P({\omega }_i))\end{array}$$

先验概率相等：$P(w_i)=P(w_j)$

判别函数：
$$g_i(\mathbf{x})=r^2=(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)$$
决策规则： 若要对样本$\mathbf{x}$进行分类，只需要计算$\mathbf{x}$到各类均值向量的马氏距离平方，然后将归于距离最短的一类：
$$\arg \underset{i=1,2,\dots ,c}{\min }(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)$$

先验概率不相等：$P(w_i)\ne P(w_j)$

判别函数：
$$\begin{array}{rl}{g}_i(\mathbf{x})& =-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)+\ln (P({\omega }_i))\\ & =-\frac{1}{2}({\mathbf{x}}^T{\mathbf{\Sigma }}^{-1}\mathbf{x}-2{\mathbf{\mu }}_i^T{\mathbf{\Sigma }}^{-1}\mathbf{x}+{\mathbf{\mu }}_i^T{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_i)+\ln (P({\omega }_i))\\ & ={\mathbf{\mu }}_i{\mathbf{\Sigma }}^{-1}\mathbf{x}-\frac{1}{2}{\mathbf{\mu }}_i^T{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_i+\ln (P({\omega }_i))\\ & ={\mathbf{w}}_i^T\mathbf{x}+{\mathrm{w}}_{i0}\\ & \\ & \{\begin{array}{ll}{\mathbf{w}}_i& ={\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_i\\ {\mathrm{w}}_{i0}& =\ln (P({\omega }_i))-\frac{1}{2}{\mathbf{\mu }}_i^T{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_i\end{array}\end{array}$$

决策面方程：$g_i(\mathbf{x})-g_j(\mathbf{x})=0$

展开可得：${\mathbf{w}}^T(\mathbf{x}-{\mathbf{x}}_0)=0$ ( 这是线性判别函数 )

第三种情形：${\mathbf{\Sigma }}_i\ne {\mathbf{\Sigma }}_j,i,j=1,2,\dots ,c$

判别函数：
$$\begin{array}{rl}{g}_i(\mathbf{x})& =\ln (p(\mathbf{x}|{\omega }_i))+\ln (P({\omega }_i))\\ & =-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}_i^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)-\frac{d}{2}\ln (2\pi )-\frac{1}{2}\ln (|{\mathbf{\Sigma }}_i|)+\ln (P({\omega }_i))\\ & =-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}_i^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)-\frac{1}{2}\ln (|{\mathbf{\Sigma }}_i|)+\ln (P({\omega }_i))\\ & ={\mathbf{x}}^T{\mathbf{W}}_i\mathbf{x}+{\mathbf{w}}_i^T\mathbf{x}+{\mathrm{w}}_{i0}\\ & \{\begin{array}{ll}{\mathbf{W}}_i& =-\frac{1}{2}{\mathbf{\Sigma }}_i^{-1}\\ {\mathbf{w}}_i& ={\mathbf{\Sigma }}_i^{-1}{\mathbf{\mu }}_i\\ {\mathrm{w}}_{i0}& =-\frac{1}{2}{\mathbf{\mu }}_i^T{\mathbf{\Sigma }}_i^{-1}{\mathbf{\mu }}_i-\frac{1}{2}\ln (|{\mathbf{\Sigma }}_i|)+\ln (P({\omega }_i))\end{array}\end{array}$$
决策方程：
$$\begin{gathered} g_i(\mathbf{x})-g_j(\mathbf{x})=0 \\ {\mathbf{x}}^T({\mathbf{W}}_i-{\mathbf{W}}_j)\mathbf{x}+({\mathbf{w}}_i-{\mathbf{w}}_j{)}^T\mathbf{x}+w_{i0}-w_{j0}=0 \end{gathered}$$
决策面为一个超二次曲面。随着${\mathbf{\Sigma }}_i$、${\mathbf{\mu }}_i$、$P(w_i)$等的不同而呈现出超球面、超椭球面、超双曲面或超平面等不同的情形。

例子: c=2, 2D

$$\begin{gathered} P({\omega }_1)=P({\omega }_2)=0.5 \\ {\mathbf{\mu }}_1=\left[\begin{array}{c}3\\ 6\end{array}\right];{\mathbf{\Sigma }}_1=\left[\begin{array}{cc}1/2& 0\\ 0& 2\end{array}\right];{\mathbf{\Sigma }}_1^{-1}=\left[\begin{array}{cc}2& 0\\ 0& 1/2\end{array}\right] \\ {\mathbf{\mu }}_2=\left[\begin{array}{c}3\\ -2\end{array}\right];{\mathbf{\Sigma }}_2=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right];{\mathbf{\Sigma }}_2^{-1}=\left[\begin{array}{cc}1/2& 0\\ 0& 1/2\end{array}\right] \end{gathered}$$

对于两类问题，${\mathbf{\Sigma }}_i\ne {\mathbf{\Sigma }}_j$，先验相等。
$$g_i(\mathbf{x})=-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_i{)}^T{\mathbf{\Sigma }}_i^{-1}(\mathbf{x}-{\mathbf{\mu }}_i)-\frac{1}{2}\ln (|{\mathbf{\Sigma }}_i|)+\ln (P({\omega }_i))$$
决策面方程为$g_1(\mathbf{x})-g_2(\mathbf{x})=0$。
$$\begin{gathered} (\mathbf{x}-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)+\ln (|{\mathbf{\Sigma }}_1|)=(\mathbf{x}-{\mathbf{\mu }}_2{)}^T{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathbf{\mu }}_2)+\ln (|{\mathbf{\Sigma }}_2|) \\ (\mathbf{x}-{\mathbf{\mu }}_1{)}^T{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)=(x_1-3,x_2-6)\left[\begin{array}{cc}2& 0\\ 0& 1/2\end{array}\right]\left[\begin{array}{c}{x}_1-3\\ x_2-6\end{array}\right] \\ \ln (|{\mathbf{\Sigma }}_1|)=\ln (1)=0,\ln (|{\mathbf{\Sigma }}_2|)=\ln (4)=2\ln (2) \\ (\mathbf{x}-{\mathbf{\mu }}_2{)}^T{\mathbf{\Sigma }}_2^{-1}(\mathbf{x}-{\mathbf{\mu }}_2)=(x_1-3,x_2+2)\left[\begin{array}{cc}1/2& 0\\ 0& 1/2\end{array}\right]\left[\begin{array}{c}{x}_1-3\\ x_2+2\end{array}\right] \end{gathered}$$

$$\begin{gathered} -(2(x_1-3{)}^2+\frac{1}{2}(x_2-6{)}^2)+(\frac{1}{2}(x_1-3{)}^2+\frac{1}{2}(x_2+2{)}^2)+2\ln (2)=0 \\ -2(x_1-3{)}^2-\frac{1}{2}(x_2-6{)}^2+\frac{1}{2}(x_1-3{)}^2+\frac{1}{2}(x_2+2{)}^2+2\ln (2)=0 \\ (-2+\frac{1}{2})(x_1-3{)}^2-\frac{1}{2}(x_2-6{)}^2+\frac{1}{2}(x_2+2{)}^2+2\ln (2)=0 \\ -\frac{3}{2}(x_1-3{)}^2+8x_2-16+2\ln 2=0 \end{gathered}$$

所以，此例子的决策面方程为$x2=3.514-1.125x_1+0.1875x_1^2$。