【机器学习】信息熵 交叉熵和相对熵

V1.0

信息熵 交叉熵和相对熵

熵最初是一个热力学概念，用来衡量一个系统的混乱程度。和距离，面积等一样，都是一种度量。1948年美国数学家香农提出信息熵的概念，之后又有科学家提出了相对熵（也就是KL散度）和交叉熵的概念。

信息熵

有概率模型$P$，其中有多个类别，每个类别的概率为$P(x_i)$，$P(x_i)$之和为$1$。
信息熵用来衡量概率模型$P$的概率分布的分散性。

信息熵的公式如下：
$$H(P)=-\sum _{i}P(x_i)\log P(x_i)$$

信息熵的性质

类别越多，信息熵越高

设模型$A$有$10$个类别，每个类别的概率都是$0.1$，则其信息熵为
$$H(P_A)=-\sum _{i=1}^{10}0.1\cdot \log 0.1\approx 3.3219$$
设模型$B$有5个类别，每个类别的概率都是$0.2$，则其信息熵为
$$H(P_B)=-\sum _{i=1}^{5}0.2\cdot \log 0.2\approx 2.3219$$
通过比较发现，在概率分布都是均匀分布的情况下，$10$个类别的模型$A$信息熵比$5$个类别的模型B的信息熵更高。
用分散性来理解，即类别越分散，越多，信息熵越高。

各类别的概率越平均，信息熵越高

设有两个概率模型$A$和$B$。模型$A$和$B$均有5个类别，模型$A$的各类别概率均为$0.2$，模型B各类别的概率为 { 0.125 , 0.125 , 0.125 , 0.125 , 0.5 } \{0.125,0.125,0.125,0.125,0.5\} {0.125,0.125,0.125,0.125,0.5}。

模型$A$的信息熵为
$$H(P_A)=-\sum _{i=1}^{5}0.2\cdot \log 0.2\approx 2.3219$$
模型$B$的信息熵为
$$H(P_B)=-\sum _{i=1}^{5}P(x_i)\cdot \log 0.2=2$$
通过比较发现模型$A$的信息熵更高。

用分散性来理解，概率模型中不同类别的概率越平均，也就是更分散而不集中，则信息熵越大。如果概率模型的类别中有1个或几个类别的概率更大，也就是概率更集中，则其信息熵越小。

模型中有1个类别的概率为1时，信息熵为0

概率模型$p$中一个类别的概率为$0$时，此时概率从平均程度上来讲，完全集中，此时信息熵为$0$。

交叉熵

交叉熵用来描述目标概率模型$P$与我们拥有的概率模型$Q$的差异。
在这里$P$和$Q$都用来描述同一随机变量，因此拥有相同的概率种类，而同一类别的概率不一定相同，即$q(x_i)$不一定等于$p(x_i)$。
设$P$是真实的概率分布模型，$Q$是我们拥有的概率分布模型，则交叉熵$H(P,Q)$的公式为
$$H(P,Q)=-\sum _{i}p(x_i)\log q(x_i)$$

交叉熵的性质

在我们拥有的模型$Q$完全等于目标模型$P$时，可以通过数学证明，此时交叉熵$H(P,Q)$是对于模型$P$时最小的，此时交叉熵即退化为信息熵，即信息熵的取值是对于目标概率模型P的交叉熵中最小的。
当$Q$等于$P$时，交叉熵是对于$P$模型中最小的，但这并不意味着此时的交叉熵为0。交叉熵在此时退化为信息熵，而信息熵只有在概率模型的概率分布完全集中，也就是其中1个类别的概率为$1$时，信息熵才为$0$。

相对熵（KL散度）

相对熵就是KL散度。对于目标概率模型$P$和我们拥有的概率模型$Q$，相对熵$D_{KL}(p||q)$即为$Q$对$P$的交叉熵$H(p,q)$与$P$的信息熵$H(p)$的差值。
其中信息熵为交叉熵的下界（即最低取值）。相对熵的公式为
$$D_{KL}(p||q)=\sum _{i}p(x_i)\log \frac{p(x_i)}{q(x_i)}$$
相对熵的公式可以转化为交叉熵与信息熵的差值，以下为推导
$$\begin{array}{rl}{D}_{KL}(p||q)& =\sum _{i}p(x_i)\log p(x_i)-\sum p(x_i)\log q(x_i)\\ & =-(-\sum _{i}p(x_i)\log p(x_i)-(-\sum p(x_i)\log q(x_i)))\\ & =-(H(p)-(H(p,q)))\\ & =H(p,q)-H(p)\end{array}$$

相对熵的性质

当目标概率模型$P$与我们拥有的模型$Q$相等时，即$p(x_i)=q(x_i)$时，交叉熵与信息熵相等，此时相对熵取到最小值为$0$。
$$D_{KL}(p||q)=\sum _{i}p(x_i)\log 1=0$$