信息论讲义第3章

《信息论讲义第3章》由会员分享，可在线阅读，更多相关《信息论讲义第3章（12页珍藏版）》请在装配图网上搜索。

1、第三章 信道与信道容量主要内容：（1）信道的分类和表示参数； （2）离散单个符号信道及其容量； （3） 离散序列信道及其容量； （4）连续信道及其容量。重点： 离散单个符号信道及其容量。难点： 连续信道及其容量。说明： 信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅 与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特 性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容 量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题， 着重阐明定理和公式的物理意义，对

2、较为繁琐的推倒过程做了部分省略。作 业： 3 1， 3 2。课时分配： 4 课时。板书及讲解要点：本章首先讨论信道的分类及表示信道的参数，然后讨论各种信道的容量和计 算方法。3 1 信道的分类和表示参数信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统 计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。 通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解 调、放大、滤波、均衡等器件 ,以及各种物理信道。信道遭受各类噪声的干扰，使 有用信息遭受损伤。从信道编码的角度，我们对信号

3、在信道中具体如何传输的物 理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号 ,得到什么信号，如 何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信 道来抽象。可得到下图表示的一般信道模型。输入xG X亠转移概戸率矩阵输出y g yp(y/x)F3. 1. 1信道的分类图3 1 信道模型（1）根据输入输出随机信号的特点分类 离散信道：输入、输出随机变量都取离散值。 连续信道：输入、输出随机变量都取连续值。 半离散 /半连续信道：输入变量取离散值而输出变量取连续值，或反之。（2）据输入输出随机变量个数的多少分类单符号信道：输入和输出端都只用一个随机变量来表示。多符号信道：

4、输入和输出端用随机变量序列 /随机矢量来表示。（3）根据输入输出个数分类单用户信道：只有一个输入和输出的信道。 多用户信道：有多个输入和输出的信道。（ 4） 根据信道上有无干扰分类有干扰信道无干扰信道（ 5） 根据信道有无记忆特性分类有记忆信道，无记忆信道。（ 6） 根据输入和输出之间有无反馈有反馈信道 无反馈信道。实际信道的带宽总是有限的，所以输入和输出信号总可以分 解成随机序列来研究。一个实际信道可同时具有多种属性。最简单的信道是单符号离散信道。312 信道参数分四部分来讲述。1二进制离散信道模型二进制离散信道模型由一个允许输入值的集合X = 0,1和可能输出值的集合Y=0,1，以及一组表

5、示输入、输出关系的条件概率（转移概率）组成。最简 单的二进制离散信道是二进制对称信道（ binary symmetric channel,BSC ）。如图 3 2 所示。它是一种无记忆信道。转移概率为：p(Y = 0/X 二 1)二 p(Y = 1/ X 二 0)二 p p(Y 二 1/ X 二 1)二 p(Y 二 0/X 二 0)二 1 - p2离散无记忆信道假设信道编码器的输入是n元符号，即输入符号集由n个元素X=xi,x2，, xn构成，而检测器的输出是 m元符号即信道输出符号集由 m个元素Y二 yi，y2，ym构成，且信道和调制过程是无记忆的，那么信道模型黑箱的输入 一输出特性可以用一

6、组共 nm个条件概率来描述p（Y二y / X二x）三p y / x。式中， j i j i i=1，2，n； j=1，2，m,；这样的信道称为离散无记忆信道（DMC ）。p（Y = y , Y = y，,Y = y / X = x ,X = x ）=肝 p （Y = y / X = x ）1 1 2 2 n n 1 1 n n k k k k k =1p（y /x）构成的矩阵为P矩阵（信道矩阵），如下：ji如果信道转移概率矩阵的每一行中只包含一个 “1”，其余元素均为 “0”，说明信 道无干扰，叫 无扰离散信道 。 有扰离散信道在信道输入为 xi 的条件下， 由于干扰的存在， 信道输出不是一个

7、固定值而是 概率各异的一组值，这种信道就叫 有扰离散信道 。3离散输入连续输出信道假设信道输入符号选自一个有限的、 离散的输入字符集 X=x1， x2， xn 而信道输出未经量化（m）8），这时的译码器输出可以是实轴上的任意值，即 y=-，- 。这样的信道模型为离散时间无记忆信道。这类信道中最重要的一种是加性高斯白噪声（ AWGN ）信道，对它而言Y=X + G，式中G是一个零均值、方差为2的高斯随机变量，X=xj， i=1， 2，n。 当X给定后，Y是一个均值为Xi、方差c2为的高斯随机变量。P（y / xi）=而訐e（yPH2波形信道是这样一种信道模型：其输入是模拟波形，其输出也是模拟波形

8、。假设输入该信道的是带限信号x （t），相应的输出是y （t），那么y（ t） =x（ t）+ n（ t）这里n （t）代表加性噪声过程的一个样本函数。说明：a. 设计和分析离散信道编、解码器的性能，从工程角度出发，最常用的是DMC 信道模型或其简化形式 BSC 信道模型；b. 若分析性能的理论极限，则多选用离散输入、连续输出信道模型；c. 如果我们是想要设计和分析数字调制器和解调器的性能，则可采用波形信 道模型。本书的主题是编、解码，因此主要使用 DMC 信道模型。3.2离散单个符号信道及其容量信道模型：见3 1图，图中，输入Xe xi，x2,兀,.旳，输出Yeyi，y2，,yj,ym。如果

9、信源熵为H(X)，希望在信道输出端接收的信息量就是H(X) ，由于干扰的存在，一般只能接收到 I(X;Y)。信道的信息传输率：就是平均互信息R=I(X;Y)。输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决 定的：I(X;Y) WH(X)。I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj/xi)的二元函数，当信道特 性p(yj /xi)固定后，I(X；Y)随信源概率分布p(xi)的变化而变化。调整p(xi)， 在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布 p(xi)(即某一种信源)，使信道所能传

10、送 的信息率为最大。信道容量C :在信道中最大的信息传输速率，单位是比特 /信道符号C二max R二maxI X Y ) 比特 信道符号)p( xi )p (xi )单位时间的信道容量Ct：若信道平均传输一个符号需要 t秒钟，则单位时间的信 道容量为：C 二 imax I(X; Y)(比特 / 秒)t t p( xi)3.2.1 无干扰离散信道因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系:已知X后Y没有不确定性，噪声熵 H(Y/X)=0 ；反之，收到Y后，X也不存在不确定性，信道疑义度H(X/Y)=0;故有 I(X；Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对

11、应确定关系的无噪信道达到信道容量2具有扩展性能的无噪信道虽然信道矩阵中的元素不全是“1”或“0”素：已知Y后，X不再有任何不确定度，信道疑义度I(X；Y)二 H(X) -H(X/Y)二 H(X)。例如，输出端收到y2后可以确定输入端发送的是 发送的是X3，等等。，但由于每列中只有一个非零元H(X/Y)=0，信道容量为：y后可以确定输入端具有扩展性能的无噪信道举例p(y /x )p(y /x )p(y /x )00000112131000p(y / x )p(y / x )p(y / x )00425262000000p(y /x )73p(y /x )83H(X) 0条件的iI ( xi；Y

12、)W C, 对于所有满足p ( xi ) =0条件的i即是每个概率非零的 输入符号对Y提供相同的平均互信息。33 离散序列信道及其容量定义：多符号离散信源X =XiX2XL在L个不同时刻分别通过单符号离散信道X P(Y/X) Y，则在输出端出现相应的随机序列Y =丫1丫2YL，这样形成一个新的信道称为离散序列信道。由于新信道相当于单符号离散信道在L个不同时刻连续运用了 L次，所以也称为单符号离散信道X P(Y/X) Y的L次扩展。离散序列信道模型如下图所示，设信源矢量X的每一个随机变量Xl (1=1,2,L)均取自并取遍于信道的输入符号集ai,a2，,an，贝M言源共有nL个不同的元素ai(i

13、=1,2,，nL)。则输出矢量Y由L个符号组成的输出序列Y =丫1丫2Yl，它 的每一个随机变量Yl均取自并取遍于信道的输出符号集bi,b2，,bm。XY P (Y/X )yy=(X , X，,X )1 = (Y, Y，Y )1 2 L 1 2 LX = a a ,., a Y = (b ,b ,., b )l 1, 2 n l 1 2 m对于无记忆离散序列信道，其信道转移概率为：平均互信息I(X;Y)= H(Y) H(Y /X)例题 37，p55 ，BSC 二次扩展信道由题图可知其转移概率：p(00/00) = p(0/0 ) p (0/0) = (1- p)2p(01/00) = p(0/

14、0) p(1/0) = p (1-p)对应的转移概率矩阵：(1- P)2 P(l- P) P(l-P) P2P(1- P)(1- P)2 P2 P(1-P)P =P (1- P) P2(1- P )2 P (1-P)_ P2 P(1- P) P(1-P)(1-P)2 _是一个对称 DMC 信道，当输入序列等概分布时，容量为：C = log4 - H(1- P)2, P(1- P), P(1- P), P2 )234 连续信道及其容量341 连续单符号加性信道输入和输出随机变量都取值于连续集合的信道。其传递特性用条件转移概率密度函数p(y/x)表示，用X P(y/x)Y。连续随机变量之间的平均互

15、信息满足非负性，并可以证明，它是信源概率密度函数p(y/x)的上凸函数。连续信道的信道容量C:信源X等于某一概率密度函数P0(x)时，信道平均互信息的最大值，即C = max /(X; Y)。P(x)一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。 下图为连续加性信道模型:噪声为连续随机变量N,且与X相互统计独立的信道。这种信道的噪声对输入 的干扰作用表现为噪声和输入线性叠加，即Y=X+N。加性连续信道的条件熵等于其噪声熵说明Hc (Y/X)二Hc(N)。加性连续信道的信道容量:加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起 噪声熵Hc(N)的改变，

16、所以加性信道的容量C就是选择p(x)，使输出熵Hc(Y)达 到最大值，即： C 二 max h (Y)-H (N)。p( x) c c高斯加性信道的容量：高斯噪声为N,均值为0，方差为o 2 ,噪声功率为P；概率密度函数为pn(N)=N(0,O 2 ),噪声的连续熵为H (N)=十log宜o2。e 22所以，高斯加性连续信道的容量等于：22C = max H (Y)-H (N尸 max H (Y)-士log 2兀eo2 eeP( x)P(x)Y 必须是一个均值为 0、方差为根据最大连续熵定理，要使Hc(Y)达到最大， o 2 = P的高斯随机变量。对高斯加性信道，输出 Y 的功Y若限定输入平均

17、功率S，噪声平均功率Pn=O 2,率 P 也限定了，P = S + Pn，因为 PY(y)=N(0,P)，Pn(N)=N(0, O 2 )，所以有:Px(x)=N(O,S)，即输入X满足正态分布时，He(Y)达到最大值，达到信道容量。maxH (Y) = ilog 2兀e(o2 +02)二亠log 2兀ePe22X22 YP(x)因此，高斯加性信道的信道容量为C二ilog 2兀eP一ilog 2兀eo22 2 221 S+02iS=斥 log ()二 log (1+)2 2 02 2 2 02实际系统中噪声不是高斯型的， 但若为加性的， 如果均值为 0，平均功率为 o 2 则信道容量存在下面的

18、上下界：实际非高斯噪声信道的容量要大于高斯噪声信道的容量，所以在处理实际问题时，通过计算高斯噪声信道容量来保守地估计容量。342 多维无记忆加性连续信道(1)当每个单元时刻的高斯噪声都是同分布时，即：n =N(0,o 2 ),则有信道容量lC =L牙 log(1+2 )(bit /L维)。2o 2l=1当且仅当输入矢量X各分量统计独立，且各分量都服从xl=N(0,S)时，信息传输率 达到最大。(2)当每个单元时刻的高斯噪声均值为零，但是方差不同且为 2时，若输入信l 号的总平均功率受限，约束条件为：elX2 leX2 l p p则此时各单元时刻的信号平均功率l l ll1 l1 l1 应该合理

19、分配，才能使得信道容量最大。从而转换为求极大值得问题。在噪声平 均功率过于大，甚至超过输出平均功率时，可以不给于功率，即不发送信号；在 噪声平均功率较大，但还没有超过输出平均功率时，我们可以少给点输入平均功 率；C)在噪声平均功率较小的时间里，我们可以多给点输入平均功率。这一结论符合客观规律和人们的习惯概念：例如，当人们说话的总的平均功 率受限制时，总是把仅有的说话功率用在风小的时候。在风比较大的时候，就少 花点力气。在风大到对方已经无法听到你说话声音时，干脆就暂停说话。等风小 一点，或基本上没有风时，才提高嗓音使劲地大声喊叫。把仅有的一点功率，分 配到噪声小的时候使用，增加所能传递的信息量，

20、提高通信的效率。 343 限 时限频限功率的加性高斯白噪声信道波形信道中，限时tB,限频fm条件下可根据采样定理，将输入随机过程x(t), 输出随机过程y(t)转化为多维随机序列，进而求其信道容量。设信道的频带限 于(-W, W);根据采样定理，如果每秒传送2W个采样点，在接收端可无失真地恢 复出原始信号；把信道的一次传输看成是一次采样，由于信道每秒传输2W个样点， 所以单位时间的信道容量为：C 2W * Clog (1t 2 2pW log (1)2pNp1 )2W * log (12 2 2l(bit/s)p*2Wi2*2Wl)bit/s)Ps是信号的平均功率，PN是噪声的平均功率。对高斯

21、白噪加性信道,PN =1/2*No*2W= Now ,No/2是噪声的双边功率谱密度。说明：1. 信道容量仅与 信噪比和带宽有关系。2. 表明了在噪声信道中可靠通信,信息传输速率的 上限值。3. 实际信道一般为非高斯噪声波形信道,其噪声熵小于高斯噪声熵,故信道容量 以上式为下限值。4.W定时，Ct与信噪比SNR成对数关系，如下图所示。提 高信号功率或者降低噪声功率,有助于提高容量。5.当信道容量一定时，增大 信道带宽，可以降低对信噪功率比的要求（如扩频通讯） ；反之，当信道频带较 窄时，可以通过提高信噪功率比来补偿。当信道频带无限时，其信道容量与信号功率成正比。表明即使带宽无限，信道容 量仍然

22、时有限的。 香农限PW T8时，C沁 g N ln20当C =lbi t时，P/N=ln2=-1 6dB,即当带宽不受限制时，每秒传送lbit信息，频带利gS 0信噪比最低需要-1.6dB，不能再低了。它是一切编码方式所能达到的理论极限。 用率Ct/W （单位频带的信息传输率）（bps /Hz）当 Ct/W=1bps/Hz 时， SNR=1（0dB）;当 Ct/W 逼近零时，SNR=1.6dB, 此时信道将逼近香农限。例题 3 9：电话信道带宽是3.3kHz，若信噪比为20dB，即SNR = 100，运用香农公式可求 初该信道的信道容量为Ct = Wlog（l+SNR） =22kbps，实际信道考虑到串音、回波等干扰因素， 最大到达的信道传输率为 19.2kbps ， 比理论计算值要小。