信息论与熵information and entropy

信息是什么，可以理解为熵的变化。        

熵在信息中

其中是玻尔兹曼常量，W是与其微观状态的多样性（即系统的微观状态数，用W表示）之间存在直接关系。

基本定义：

                熵                        

                相对熵                

                条件熵                

                互信息                

冯诺依曼熵的计算：

Fannes不等式

假设和为密度矩阵，其迹距离满足，则

其中d为希尔伯特空间的维度，。证明过程省略。

Fannes不等式是一种在量子信息理论中常用的不等式，它给出了量子态的冯诺依曼熵与其相应的混合度量之间的关系。具体来说，Fannes不等式可以用来估计两个量子态之间的熵差异。

量子相对熵

对于的相对熵定义为

        ​​​​​​​        ​​​​​​​        ​​​​​​​                     

与经典的熵相同，有时候量子相对熵会无穷大。当的核（的0特征值对应的特征向量张成的特征空间）与的支集（的非0特征值对应特征向量张成的向量空间）有非平凡的交集时，交叉熵定义为正∞，否则是有限的。进而可以推得克莱因不等式，量子相对熵总是非负的。

        ​​​​​​​        ​​​​​​​        ​​​​​​​                                 ​​​​​​​     

当且仅当=时不等号成立。

熵的基本性质

1.熵值非负。当且仅当量子态为纯态时熵为0。

2.d维希尔伯特空间中熵的上界为logd，当且仅当量子系统为最大混态I/d时熵为logd。

3.假设复合系统AB为一个纯态，则S(A)=S(B)。

4.假设为概率，态创业板在正交子空间上的支集，则

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

5.联合熵定理：假设为概率，为系统正交态，为另一个系统B上的一组密度算子，则

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​   

熵的张量积即

测量会导致熵增，假设用投影算子描述投影测量，但我们不知道测量结果。如果测量前系统量子态为，则测量后        

只有测量不改变量子态时熵变。

而广义测量可以减少熵，分析如下

• 信息获取：

  • 在量子测量中，测量可以被视为对系统信息的获取。通过测量，系统的状态会 collapse（塌缩）到某个特定的本征态，减少了不确定性。因此，测量后系统的冯诺依曼熵可能会降低，因为获取了关于系统更多的信息。

• 状态转换：

  • 当对量子态进行广义测量时，原始状态通常会转变为一个新的状态。这个新的状态可能是一个更有序的状态，相比之下，其熵值较低。

• 量子非经典性：

  • 广义测量允许在更大程度上操控量子态，与传统的项目测量相比，它可能涉及到更复杂的系统交互。这种非经典的操作有时会导致信息的集中，从而减少熵。

• 量子纠缠：

  • 在某些情况下，进行广义测量时，测量结果可能与其他纠缠系统相关联。这种关联可能导致系统的熵降低，因为纠缠态通常会比非纠缠态具有更高的信息密度。

强次可加性：

参考文献

1.（美）Michael ANielsen（迈克尔A.尼尔森），Isaac L.Chuang（艾萨克 L.庄）. 量子计算与量子信息 10周年版[M]. 北京：电子工业出版社, 2022.02.