信源熵的概念

信源

信源是一个二元有序对$\phi =(\mathcal{S},\mathcal{P})$,其中，S = { x 1 = \{ x_1 ={x1​, $\cdots$, $x_n\}$称为信源字母集合，而 P 表示 S 的概率分布。通常用$p_i$或 p(xi)表示$x_i$发生的概率。

显然，上述定义中的 p(x)的值满足$0\le p(x_i)\le 1,{\sum }_{i=1}^{n}p(x_i)=1$,
它反应$x_i$发生的不确定性。
如：p( $x_i$) = 1 意味着 $x_i$ 的发生是必然事件，而 $x_j$( j$\ne$i) 的发生是不可能事件。这时，信源$\phi =(\mathcal{S},\mathcal{P})$没有任何不确定性。

如果对每个 $x_i$, 都有 0<p( $x_i$) < 1, 则信源 $\phi =($S, P) 蕴含着不确定性，并且这种不确定性直观上应在 p$({\mathrm{x}}_1)={\mathrm{p}(\mathrm{x}}_2)=\cdots =$p( $x_n$) 时达到最大。

熵函数

为了刻画信源的不确定性, 使用一个函数给出信源的平均不确定性的度量，这个函数就是 “熵” 的概念。

$$\begin{gathered} \text{信源 }\phi =(\mathrm{S},\mathrm{P})\text{ 的熵函数 H}({\mathrm{p}}_1,\cdots ,{\mathrm{p}}_{\mathrm{n}})\text{ 定义为} \\ \mathrm{H}({\mathrm{p}}_1,\cdots ,{\mathrm{p}}_{\mathrm{n}})={\sum }_{\mathrm{i}=1}^{\mathrm{n}}\mathrm{p}({\mathrm{x}}_{\mathrm{i}})\log \frac{1}{\mathrm{p}({\mathrm{x}}_{\mathrm{i}})}=-{\sum }_{\mathrm{i}=1}^{\mathrm{n}}\mathrm{p}({\mathrm{x}}_{\mathrm{i}})\log \mathrm{p}({\mathrm{x}}_{\mathrm{i}}). \end{gathered}$$

由于当$x\to 0$ 时，$xlogx\to 0$。以后约定$0\log 0=0$,这样即使有部
分 p$(x_i)=0$,熵函数 H$(p_1$, $\cdots$, $p_n)$也有意义，还能保证熵函数
H( $p_1$, $\cdots$, $p_n$) 的连续性。上述熵函数定义中对数的底如果等于 b,则
H( $p_1$, $\cdots$, $p_n$) 也常常记作 $H_b$( $p_1$, $\cdots$, $p_n$) .

两点分布的熵函数

对应两点分布的信源的熵函数是${\mathrm{H}}_2(p,1-p)=p{\log }_2\frac{1}{p}+(1-p){\log }_2\frac{1}{1-p}$. 常常把它简记为 H( p) 。它的图像从(0,0)单调增加到点$(\frac{1}{2},1)$,再从$(\frac{1}{2},1)$单调减到(1,0),图像特点为上凸的，并以 x$=\frac{1}{2}$为对称轴。

最大不确定性

利用微积分中的拉格朗日条件极值的计算方法或根据对数函数图像的上凸性, 可以得到结论:

信源$\phi =($S,P) 的熵函数 H$({\mathfrak{p}}_1,\cdots ,{\mathfrak{p}}_n)$取得最大值当且仅当

$${\mathrm{p}}_1=\cdots ={\mathrm{p}}_{\mathrm{n}}=\frac{1}{\mathrm{n}}$$

此时，$H(\frac{1}{\mathrm{n}},\cdots ,\frac{1}{\mathrm{n}})=logn$

上面的定理表明, 当信源字符处于均匀分布时, 该信源的不确定性达到最 大, 这也和直观感觉相符的。

随机变量的熵

设$X$是一个随机变量，其取值空间为 S = { x 1 , ⋯   , x n } =\{\mathrm{x}_1,\cdots,\mathrm{x}_{\mathrm{n}}\} ={x1​,⋯,xn​},

设 $P(X=x_i)=p(x_i)$ , 则 $X$ 的熵 $H(X)$ 定义为

$$\mathrm{H}(\mathrm{X})=-\sum _{\mathrm{i}=1}^{\mathrm{n}}\mathrm{p}({\mathrm{x}}_{\mathrm{i}})\log \mathrm{p}({\mathrm{x}}_{\mathrm{i}})$$

随机变量 X 的熵 H(X) 也可看成是一个新的随机变量的数学期望。根据定义 $H(X)={\sum }_{\mathrm{i}}P(X={\mathrm{x}}_{\mathrm{i}})\log \frac{1}{\mathrm{P}(\mathrm{X}={\mathrm{x}}_{\mathrm{i}})}$。如果我们定义一个随机变量 W,在 x $x_i$ 处 的 函 数 值 $W(x_i)=\log \frac{1}{P(X=x_i)}$,那么

$$\mathrm{H}(\mathrm{X})=\mathrm{E}(\mathrm{W}).$$