4.1 信道的数学模型及其分类
4.1.1 信道的基本概念和研究方法
信道是信息传输的通道，作用是将发送端输入符号变换为接收端输出符号，传输过程会引入噪声与干扰，造成接收符号失真。
信道研究的核心目标：刻画输入、输出之间的统计依赖关系，求解信道能够可靠传输信息的最大速率，也就是信道容量。
离散信道模型包含三要素：
- 输入符号集合X={x1,x2,…,xr}X=\{x_1,x_2,\dots,x_r\}X={x1,x2,…,xr}，rrr是输入符号个数
- 输出符号集合Y={y1,y2,…,ys}Y=\{y_1,y_2,\dots,y_s\}Y={y1,y2,…,ys}，sss是输出符号个数
- 转移概率P(yj∣xi)P(y_j|x_i)P(yj∣xi)：发送xix_ixi时，收到yjy_jyj的条件概率，满足
∑j=1sP(yj∣xi)=1\sum_{j=1}^{s} P(y_j|x_i)=1j=1∑sP(yj∣xi)=1
重点：信道属于统计模型，不是确定映射，分析信道核心依靠转移概率。
4.1.2 信道分类
按照输入输出取值：离散信道、连续信道
离散信道：输入、输出都是离散符号，为本章研究对象；
连续信道：输入、输出为连续模拟信号，例如高斯信道。按照记忆特性：无记忆信道、有记忆信道
离散无记忆信道：当前时刻输出只和当前输入有关，和过往符号无关。
P(y1y2⋯yN∣x1x2⋯xN)=∏k=1NP(yk∣xk)P(y_1y_2\cdots y_N | x_1x_2\cdots x_N) = \prod_{k=1}^{N} P(y_k|x_k)P(y1y2⋯yN∣x1x2⋯xN)=k=1∏NP(yk∣xk)
有记忆信道：输出和历史输入输出有关，比如多径信道、衰落信道，分析难度更高。按照转移概率是否随时间变化：时不变信道、时变信道
时不变信道：转移概率固定不变；
时变信道：转移概率随时间改变。按照噪声特性：对称信道、非对称信道、无损信道、确定信道等
4.1.3 离散信道转移概率矩阵
转移矩阵的行对应输入符号，列对应输出符号，矩阵每一行所有元素相加等于1。
4.2 离散无记忆信道的平均互信息量
单符号离散信道：输入分布P(x)P(x)P(x)，输出分布P(y)P(y)P(y)，联合分布P(xy)=P(x)P(y∣x)P(xy)=P(x)P(y|x)P(xy)=P(x)P(y∣x)。
平均互信息三个等价公式：
I(X;Y)=H(X)−H(X∣Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)−H(X∣Y)
I(X;Y)=H(Y)−H(Y∣X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)−H(Y∣X)
I(X;Y)=H(X)+H(Y)−H(XY)I(X;Y)=H(X)+H(Y)-H(XY)I(X;Y)=H(X)+H(Y)−H(XY)
4.2.1 平均互信息的性质
- 非负性：I(X;Y)≥0I(X;Y)\ge 0I(X;Y)≥0
当且仅当X、Y相互独立时取等号，代表信道没有传递信息。 - 对称性：I(X;Y)=I(Y;X)I(X;Y)=I(Y;X)I(X;Y)=I(Y;X)
从Y获取X的信息，等于从X获取Y的信息。 - 凸性
- 信道固定，I(X;Y)I(X;Y)I(X;Y)关于输入分布P(x)P(x)P(x)上凸；
- 输入分布固定，I(X;Y)I(X;Y)I(X;Y)关于转移概率P(y∣x)P(y|x)P(y∣x)下凸。
凸性是求解信道容量的数学基础。
- 取值范围：0≤I(X;Y)≤min{H(X),H(Y)}0\le I(X;Y)\le \min\{H(X),H(Y)\}0≤I(X;Y)≤min{H(X),H(Y)}
4.2.2 N次扩展离散无记忆信道
N次扩展信道一次传输N个符号，输入序列XN=(X1,X2,…,XN)X^N=(X_1,X_2,\dots,X_N)XN=(X1,X2,…,XN)，输出序列YN=(Y1,Y2,…,YN)Y^N=(Y_1,Y_2,\dots,Y_N)YN=(Y1,Y2,…,YN)。
无记忆条件：
P(yN∣xN)=∏i=1NP(yi∣xi)P(y^N|x^N)=\prod_{i=1}^{N} P(y_i|x_i)P(yN∣xN)=i=1∏NP(yi∣xi)
互信息满足：
I(XN;YN)≤∑i=1NI(Xi;Yi)I(X^N;Y^N)\le \sum_{i=1}^{N} I(X_i;Y_i)I(XN;YN)≤i=1∑NI(Xi;Yi)
输入符号相互独立时取等：
I(XN;YN)=N⋅I(X;Y)I(X^N;Y^N)=N\cdot I(X;Y)I(XN;YN)=N⋅I(X;Y)
