当前位置：首页 > article >正文

隐蔽通信中KL散度多码字联合与单码字分布

article 2024/9/28 12:40:22

假设多个码字的观测是独立的，KL散度的推导可以利用独立性的性质来进行。KL散度是两个概率分布之间的非对称度量，表示了从一个分布到另一个分布的信息丧失情况。设每个码字的两个观测分布分别为 $P$ 和 $Q$ ，我们想推导多个独立码字对应的两个观测分布 $P_{\text{multi}}$ 和 $Q_{\text{multi}}$ 之间的KL散度。

单个码字的KL散度

对于单个码字，KL散度的定义是：
$D_{\text{KL}}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}$
其中， $P (x)$ 和 $Q (x)$ 是单个码字观测的两个分布。

多个独立码字的KL散度

假设我们有 $n$ 个码字的独立观测，每个码字的分布是 $P (x)$ 和 $Q (x)$ 。由于这些观测是独立的，多个码字的联合分布 $P_{\text{multi}}$ 和 $Q_{\text{multi}}$ 分别是各个码字分布的乘积，即：
$P_{\text{multi}}(x_1, x_2, \dots, x_n) = \prod_{i=1}^n P(x_i)$
$Q_{\text{multi}}(x_1, x_2, \dots, x_n) = \prod_{i=1}^n Q(x_i)$

因此，多个码字的联合分布间的KL散度为：
$D_{\text{KL}}(P_{\text{multi}} \| Q_{\text{multi}}) = \sum_{x_1, x_2, \dots, x_n} P_{\text{multi}}(x_1, x_2, \dots, x_n) \log \frac{P_{\text{multi}}(x_1, x_2, \dots, x_n)}{Q_{\text{multi}}(x_1, x_2, \dots, x_n)}$
代入联合分布的表达式：
$D_{\text{KL}}(P_{\text{multi}} \| Q_{\text{multi}}) = \sum_{x_1, x_2, \dots, x_n} \prod_{i=1}^n P(x_i) \log \frac{\prod_{i=1}^n P(x_i)}{\prod_{i=1}^n Q(x_i)}$

利用对数的性质，得到：
$D_{\text{KL}}(P_{\text{multi}} \| Q_{\text{multi}}) = \sum_{x_1, x_2, \dots, x_n} \prod_{i=1}^n P(x_i) \sum_{i=1}^n \log \frac{P(x_i)}{Q(x_i)}$
$\sum_{i=1}^n \sum_{x_i} P(x_i) \log \frac{P(x_i)}{Q(x_i)}$