信息论基础｜第二章2.4~2.6 学习笔记

2.4 联合自信息量与联合熵

2.4.1 联合自信息量

1.联合自信息量

2.联合自信息量的推广

2.4.2 联合熵

1.两个离散随机变量集合的联合熵

2.N个离散随机变量集合的联合熵

理解：自信息量是单个事件含有的信息量；联合熵是集合全部联合事件的平均不确定性。

2.5 互信息量与平均互信息量

2.5.1 条件自信息量

条件自信息量

2.5.2 条件熵

2.5.3 互信息量

互信息量代表：从事件y中获取到关于事件x的信息量。

重要性质：互易性 I(x;y)=I(y;x)

• 当x,y相互独立：I(x;y)=0，一个事件无法得到另一个事件任何信息

• 互信息量可正可负

2.5.5 平均互信息量

定义2.22 平均互信息量
互信息量I(x;y)取数学期望，得到平均互信息量I(X;Y)I(X;Y)I(X;Y)
I(X;Y)=EXY[I(x;y)]=∑i,jp(xiyj)log⁡p(xi∣yj)p(xi)I(X;Y)=E_{XY}[I(x;y)]=\sum_{i,j}p(x_i y_j)\log\frac{p(x_i|y_j)}{p(x_i)}I(X;Y)=EXY​[I(x;y)]=∑i,j​p(xi​yj​)logp(xi​)p(xi​∣yj​)​

核心公式（三个等价形式）

I(X;Y)=H(X)-H(X|Y)
I(X;Y)=H(Y)-H(Y|X)
I(X;Y)=H(X)+H(Y)-H(X,Y)

物理含义：收到Y之后，X不确定性减少的部分，也就是信道传递的平均信息量。

性质：

1. 非负性：I(X;Y)≥0I(X;Y)\ge0I(X;Y)≥0

2. 极值性：I(X;Y)≤H(X),I(X;Y)≤H(Y)I(X;Y)\le H(X),\quad I(X;Y)\le H(Y)I(X;Y)≤H(X),I(X;Y)≤H(Y)

2.6 熵的性质以及各种熵之间的关系

2.6.1 信息熵的性质

离散信源熵H(X)=-\sum_{i=1}^N p(x_i)\log p(x_i)，是概率分布的函数，又叫熵函数

1. N-1元函数：满足∑pi=1\sum p_i=1∑pi​=1，N个变量只有N-1个独立变量

2. 非负性：H(p1,p2,…,pN)≥0H(p_1,p_2,\dots,p_N)\ge0H(p1​,p2​,…,pN​)≥0。概率≥0，熵不会小于0

3. 对称性：只和概率分布数值有关，调换事件顺序，熵不变

4. 确定性：只要一个pi=1p_i=1pi​=1其余为0，H=0，事件完全确定，无不确定性

5. 扩展性：增加概率趋近于0的事件，熵不变

6. 连续性：概率微小扰动，熵连续变化

7. 递增性：拆分一个事件为多个子事件，整体熵变大，不确定性上升

8. 可加性:H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)
   理解：联合不确定度 = X自身不确定度 + 已知X后Y剩下的不确定度

9. 极值性（离散最大熵定理）
   定理2.2：等概分布时，信息熵达到最大值
   H(p1,p2,…,pN)≤H(1N,1N,…,1N)=log⁡NH(p_1,p_2,\dots,p_N)\le H(\frac1N,\frac1N,\dots,\frac1N)=\log NH(p1​,p2​,…,pN​)≤H(N1​,N1​,…,N1​)=logN
   当所有事件概率相等，信源不确定性最大。

2.6.2 各种熵之间的关系

四种核心量关系总结
I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)

• H(X)：圆X全部面积；H(Y)圆Y全部面积

• 交集 = 平均互信息量I(X;Y)

• H(X|Y)：X去掉交集剩下部分；H(Y|X)：Y去掉交集剩下部分

• H(X,Y)：两个圆合并总面积

小结:

1. 自信息描述单个事件；熵描述集合平均不确定度

2. 条件熵：已知一个变量，另一个变量剩余不确定性

3. 互信息：两个事件互相共享的信息，可以是负数；平均互信息永远≥0

4. 最大熵定理：等概的时候不确定性最大，这是离散信源非常重要结论。