【信息论基础第二讲】离散信源的数学模型及其信息测度包括信源的分类、信源的数学模型、离散信源的信息测度、二元信源的条件熵联合熵
一、信源的分类
二、信源的数学模型
1、信源的概念
在通信系统中，收信者在未收到信息以前，对信源发出什么消息是不确定的、随机的、因此我们可以用随机变量、随机序列或者随机过程来描述信源的输出。严格地说，用概率空间来描述信源输出。
2、信源的分类
（1）离散信源和连续信源
一般不说是离散还是连续我们都默认为离散信源
（2）有记忆信源和无记忆信源
离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的彼此统计独立的
（3）平稳信源和不稳定信源
离散平稳信源：离散信源的概率分布不随时间变化
3、信源熵
（1）定义
（2）例子——鉴别伪币问题
24个硬币中有一个伪币，由前一讲已经知道称量三次可以找出伪币，那么每次称量中获得的信息是多少？
抓住信源熵的核心概念“平均不确定度”
三、离散信源的信息测度
信息测度通俗来说就是每输出一个符号携带的信息量。
1、自信息的定义
（1）I(xi) 的含义
当xi输出以前，表示输出xi发生的不确定性
当xi输出以后，表示输出消息xi所包含的信息量
（2）I(xi) 的单位
若取r=2，单位为bit
若取r=e，单位为nat
那么1nat = ？bit
这里需要注意的是虽然单位不同，但是不管是bit还是nat本质上表示的都是I（xi），所以在推导 1nat = ？bit的关系时要带着单位，而且不建议用换底公式因为没有任何的物理意义。
2、联合自信息与条件自信息
四、二元信源的信息熵
五、二元信源的条件熵
1、定义
这里一定要注意是p(xiyi)联合概率加权
2、物理意义
令信源输出为X，信宿接受消息为Y，条件熵H(X/Y)表示信宿在收到Y后，信源X仍然存在的不确定度，这是传输失真造成的，H(X/Y)称为损失熵或者信道疑义度。
条件熵H(Y/X)表示对于信源的输出X，信宿接受Y所存在的不确定度，这是在传输过程中噪声引起的，H(Y/X)称为噪声熵或者信道散布度。
六、二元信源的联合熵
七、熵、条件熵、联合熵之间的关系
H(XY) = H(X) + H(Y/X)
H(XY) = H(Y) + H(X/Y)
H(U1U2U3...UN) = H(U1) + H(U2|U1) + H(U3|U1U2) + ... + H(UN|U1U2U3...UN-1)