《离散信道及其容量》PPT课件.ppt

《《离散信道及其容量》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《离散信道及其容量》PPT课件.ppt（48页珍藏版）》请在装配图网上搜索。

1、第 4章 离散信道及其容量 4.1 信道的数学模型及其分类 1 什么是信道？ 信道是传送信息的载体 信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对 话，二人间的空气就是信道；打电话，电话线就 是信道；看电视，听收音机，收、发间的空间就 是信道。 2 信道的作用 在信息系统中信道主要用于传输与存储信息，而 在通信系统中则主要用于传输。 3 研究信道的目的 在通信系统中研究信道，主要是为了描述、 度量、分析不同类型信道，计算其容量，即极 限传输能力，并分析其特性。 信 道 输入量 X (随机过程 ) 输出量 Y (随机过程 ) p(Y|X) 按输入 /输出信号在 幅度 和 时间 上

2、的 取值 : 离散信道： 输入和输出的随机序列取值都是离散的信 道 连续信道： 输入和输出的随机序列取值都是连续的信 道 半离散 (半连续 )信道： 输入变量取值离散而输出变量取值连续 输入变量取值连续而输出变量取值离散 时间离散的连续信道： 信道输入和输出是连续的时间序列 波形信道： 输入和输出都是时间的实函数 x(t), y(t) 两端信道 多端信道 恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道和有记忆信道 对称信道和非对称信道 多元接入信道 广播信道 无损信道 确定信道 无噪信道 4.2 离散无记忆信道 4.2.1离散信道数学模型 信道描述 信道可以引用三组变量来描述

3、： 信道输入： X=(X1, X2 Xi, ), Xi a1 an 信道输出： Y= (Y1, Y2 Yj,), Yj b1 bm 信道概率转移矩阵： py/x=p(y1y2.yn|x1x2 xn) 即： X p(y|x) Y 定义 4.2.1若离散信道对任意 N长的输入、输出 序列有 则称它为离散无记忆信 道 DMC。其信源模型为 X p(yn|xn) Y 任何时刻信道的输出至于此时刻信道的输入有 关 ,而与以前的输入无关。 Nn nn xypxyp 1 )|()|( 定义 4.2.2对任意 n和 m,iA,jB, 若离散无 记忆信道还满足 则称此信道为平稳的或恒参的。 )|()|( ixj

4、yPixjyP mmnn 1、无扰 (无噪 )信道 信道的输出信号 Y与输入信号 X之间有 确定的关系 Y=f (X),已知 X后就确知 Y 转移概率 : )f( )f(p XY XYXY ,0 ,1)|( 2、有干扰无记忆信道 信道的输出信号 Y与输入信号 X之间没有确定的 关系 ,但转移概率满足 : )|()|()|()|( 2211 LL xypxypxypp XY 3、有干扰有记忆信道 4.2.2单符号离散信道 X=a1,a2, ar P(Y/X)=p(bj/ai) (i=1,2, r;j=1,2, s) Y=b1,b2, bs 0p(bj/ai)1 信道的传递概率又称为转移概率 矩阵

5、 P称为转移矩阵或信道矩阵；表示为： P= b1 b2 bs a1 p(b1/a1) p(b2/a1) p(b s/a1) a2 p(b1/a2) p(b2/a2) p(bs/a2) ar p(b1/ar) p(b2/ar) p(bs/ar) P矩阵为一个 r s矩阵，其每行元素之和等于 1 3、图示法描述 例 4.2.1：二元对称信道 二元对称信道 BSC 输入符号 X取值 0,1； 输出符号 Y取值 0,1 很重要的一种特殊信道 信道转移概率 ： p(0|0) = 1 p p(1|1) = 1 p p(0|1) = p p(1|0) = p 0 1 0 1 p p 1-p 1-p 1 0

6、1 1 10 pp pp P 4.2.2二元删除信道 BEC 二元删除信道 BEC 输入符号 X取值 0,1； 输出符号 Y取值 0,1,2 转移矩阵 0 2 1 0 1 p 1-p q 1-q qq ppP 10 01 4.2.3二元对称消失信道 二元删除信道 BEC 输入符号 X取值 0,1； 输出符号 Y取值 0,1,2 转移矩阵 0 x 1 0 1 1 - p - q q 1 - p - q q qpqp pqqpP 1 1 p p 先验概率 : 信源发出消息 ai的概率 p(ai)=P(X= ai) (i=1,2, ,r) 后验概率 : 信宿收到 bj 后推测信源发出 ai的概率 p

7、(ai|bj)=P(X= ai |Y= bj) 联合概率 : p(ai|bj) = P(X= ai,Y= bj) =p(a i) p(bj | ai) =p(bj) p(ai | bj) 前向概率 :（及信道传递概率） 输出符号概率 : p(bj | ai)=P(Y= bj | X= ai) p(bj)=P(Y= bj) ),.,2,1( )|()()( 1 sj abpapbp ij r i ij ),. . .,2,1( ),. . .,2,1( )|()( )|()( )|( 1 sj ri abpap abpap bap ij r i i iji ji 1 1 ( , ) ( / )

8、1 () r r i i p a i b j p a i b j p b j 4.2.3信道疑义度 定义 4.2.3称输入空间 X对输入空间 Y的条件熵 可疑度，它表示接收者收到 Y后，对信源 X仍 然存在的平均不确定度。对于接收者来说， 条件熵 H(X/Y)称为疑义度， 对 X尚存在的平均 不确定度是由于干扰 (噪声 )引起的 )|(l o g),()|()|( ji ij jij yxpyxpyXHEYXH 4.2.4平均互信息 定义 4.2.4原始信源熵与信道疑义度之差称 为平均互信息。 信息 = 先验不确定性后验不确定性 = 不确定性减少的量 )|()();( YXHXHYXI Y未知

9、 ,X 的不确定度为 H(X) Y已知 ,X 的不确定度变为 H(X |Y) 平均互信息 有扰信道 干扰源 信源 X 信宿 Y 通信系统中 ,若发端的符号为 X ,收端的符号为 Y 如果是 一一对应信道 ,接收到 Y后 ,对 X的不确定 性将完全消除： H(X|Y) = 0 一般情况： H(X |Y) H(X),即了解 Y后对 X的 不确定度的将 减少 通过信道传输消除了一些不确定性 ,获得了一定的 信息 。 )();(0 XHYXI );( )( )|( l og)( )()( )( l og)( )( )|( l og)();( XYI yp xyp yxp ypxp yxp yxp xp

10、 yxp yxpYXI i j i ij ji i ji ji ji j i j i ji ji 平均互信息 的另一种定义方法： 定理 4.2.1对于固定的信道（给定转移概 率矩阵 P后） ,平均互信息 I (X;Y)是输入 信源的概率分布 p(x)的上凸函数。 定理 4.2.2对于固定的信源分布 ,平均互 信息 I(X;Y)是信道传递概率 p(y|x)的下 凸函数。 4.2.5平均互信息与各类熵的关系 )();()4( 0);();()3( )()()()2( )|()()|()()()1( XHXXI XYIYXI YHXHXYH YXHYHXYHXHXYH )()()( )|()( )|

11、()();().5( XYHYHXH XYHYH YXHXHYXI 熵只是平均不确定性的描述 ; 不确定性的消除 (两熵之差 ) 才等于接收端所获得的信息量。 获得的信息量不应该和不确 定性混为一谈 维拉图 H(X|Y) H(X) H(Y) H(XY) H(Y|X) I(X;Y) )()()( )|()( )|()();( XYHYHXH XYHYH YXHXHYXI )|()( )|()( )()()( )|()( )|()()( XYHYH YXHXH YHXHXYH YXHYH XYHXHXYH 4.3离散无记忆扩展信道 4.3.1 N次扩展信道 1、简单的离散无记忆信道 1)( )()

12、()( )()()( )()()( 1 21 22221 11211 21 22221 11211 s j ij rsrr s s rsrr s s abP PPP PPP PPP abPabPabP abPabPabP abPabPabP P 2、 N次扩展信道 N i kihi D M C khkh s h kh srrr s s abPP N NNNN N N 1 1 21 2 2221 1 1211 )()( 1, 其中， N i ii YXIYXI 1 );();( N i ii YXIYXI 1 );();( N i ii YXIYXI 1 );();( 定理：设离散信道的输入序列

13、 X (X1X2 XN) 通 过 信 道 传 输 ， 接 收 到 的 随 机 序 列 为 Y=( Y1Y2 YN)， 而信道的转移概率为 p(y x)。 若信道是无记忆的 ， 则有： 若信源是无记忆的 ， 则有： 若信源与信道都是无记忆的 ， 则有： 4.4 信道的组合 在实际通信系统中 ,信号往往要通过几个环 节的传输 ,或多步的处理 ,这些传输或处理 都可看成是信道 ,它们串接成一个 串联信道。 信道 2 信道 1 X Y Z 定理 4.4.1级联信道中的平均互信息满足以 下关系 );();( );();( ZXIZXYI ZYIZXYI )|()|( )|()|( , xzpxyzp y

14、zpxyzp zyx 有所有等号成立充要条件，对 定理 4.4.2若随机变量 X,Y,Z构成一个马尔可夫链， 则有： );();( );();( YXIZXI ZYIZXI 例 设有两个离散 BSC信道 ,串接如图 ,两个 BSC信道的转移矩阵为 : pp pp PP 1 1 21 X 0 0 Z Y 1 1 1-p 1-p 1-p p 串联信道的转移矩阵为 : 22 22 21 )1()1(2 )1(2)1( 1 1 1 1 pppp pppp pp pp pp pp PPP 1-p p 4.5 信道容量 4.5.1 信道容量的定义 定义 4.5.1 信道容量定义为平均互信息的最大值： );

15、(m a x )( YXIC xp d e f 信道容量表征信道传送信息的最大能力。 实际信道传送信息量必须小于信道容量， 否则会出现错误。 平均互信息 I (X;Y)： 接收到符号 Y后平均每个符号获得的关于 X的 信息量。 n i ijij i j ij iji j xypxpyp yp xyp xypxpYXI 1 )|()()( )( )|( l o g)|()();( 信道的信息传输率就是平均互信息 我们研究信道的目的是要讨论信道中平均每个符 号所能传送的信息量 ,即信道的 信息传输率 R 信道在单位时间内平均传输的信息量，称为 信息传输速率 Rt。 );(1 YXI t R d e

16、 f t 单位： bit/s 若平均传输一个符号需要 t秒钟，则信道在单 位时间内平均传输的最大信息量 Ct，为 );(m a x1 )( YXI t C xp d e f t 单位： bit/s 4.5.2 离散无噪信道 1、无损信道 设信道的输入 XA= a1 an,输出 YB= b1 bm 无损 信道的一个输入对应多个互不相交的输出 )(1 )(0 )|( ij ij ji Bb Bb bap X b1 Y a1 b2 b3 a2 b4 b5 1 / 3 1 / 3 1 / 3 1 / 4 3 / 4 111 00 333 13 000 44 P 由于其矩阵的每一列元素只有一个非零元素，

17、所 以后验概率不等于 1，就等于 0 可知疑义度 H(X/Y)=0，平均交互信息量达到最大 值 I(X,Y)=H(X)， C=logr。从平均意义上讲，这 种信道可以把信源的信息全部传递道信宿。 说明： I(X;Y)=H(X)0 2、确定信道 确定 信道的输出对应多个互不相交的输入。 这类信道的转移概率等于 1或者等于 0，每一 列的元素可有一个或多个 1，可知其噪声熵 H(Y/X)=0，此时的平均交互信息量达到最大 值。 )(1 )(0 )|( ji ji ij Aa Aa abp I(X;Y)=H(Y)-H(Y/X)=H(Y)H(X) C=maxI(X;Y)=maxH(Y)=logs X

18、10 10 01 01 01 P a1 Y a 2 b1 a3 a4 b2 a5 1 1 1 1 1 3、无损确定信道 无损确定 信道：输入和输出是一一对应关系 )3,2,1,(10)|()|( ji ji jibapabp jiij X 100 010 001 P a1 b1 Y a2 b2 a3 b3 1 1 1 )()(),( YHXHYXI rYXIC iap lo g);(m a x )( 4.5.3 离散对称信道 定义 4.5.2若一个离散信道的信道矩阵中，每一 行都是由同一组元素的不同排列，则称为输入 对称信道。 定义 4.5.3若一个离散信道的信道矩阵中，每一 列都是其他列同一

19、组元素组成的不同排列，则称 为离散输出对称信道。 如果一个离散信道的信道转移矩阵中的每一行都 是由同一组元素的不同组合构成的，并且每一列 也是由这一组元素组成的，则称为对称信道。 定义 4.5.4若一个离散无记忆信道的信道矩阵 中，按照信道的输出集 Y（即信道矩阵的行） 可以将信道矩阵划分成 n个子集（子矩阵）， 每个子矩阵中的每一行（列）都是其他行 （列）的同一组元素的不同排列，则称这类 信道为离散准对称信道。子集中元素满足对 称性 例： （ 对称信道识别 ） 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 1P 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1

20、 2 1 2 P 3 1 6 1 3 1 6 1 6 1 6 1 3 1 3 1 3P 7.01.02.0 1.02.07.0 4P 10 5.05.0 01 5P 定理 4.5.1实现离散 准 对称无记忆信道信道容 量的输入符号集的分布为等概分布。 定理 4.5.2若一个离散对称信道具有 r个输入符 号， s个输出符号，则当输入为等概分布是，达 到信道容量 C，且 C=logs-H(p1p2 ps),式中 p1p2 ps为信道矩阵中的任一行。 引理：对于对称信道，只有当信道输入分布为 等概分布时，输出分布才能为等概分布。 定义 4.5.5信道输入符号和输出符号个数相同， 且信道矩阵为， 则称

21、此信道为强对称信道或均匀信道。 p r p n p r p p r p r p r p p P 1 11 1 1 1 11 1 信道矩阵中各列之和也等于 1。 推论：均匀信道的信道容量为 C=logr-plog(r-1)-H(p) 4.5.4一般信道容量的计算方法 定理 4.5.3：一般离散信道的平均互信息 I(X;Y) 达到 极大值 的 充分和必要条件 是输入概率 p(ai) 必须满足 : I (ai;Y) = C 对于所有 ai其 p(ai) 0 I (ai;Y) C 对于所有 ai其 p(ai) = 0 时， I(X;Y)达到极大值。此时，常数 C记为所求 的信道容量。 上式说明：当信道

22、的平均互信息 I(X;Y)达到信道容 量时 ,输入符号概率集 p(ai)中每一个符号 ai对输出 端 Y提供相同的互信息 ,只是概率为 0的除外。 4.5.5离散无记忆 N次扩展信道 设信道的输入 X=(X1, X2 Xi, ), Xi a1 an 输出 Y= (Y1, Y2 Yj, ), Yj b1 bm 信 道 X Y p(Y|X) 对于 无记忆离散 N次扩展 信道 ,其 信道转移概率 为 )|(),|,()|( 1 11 ll L l LL XYpXXYYpp XY 仅与当前输入有关。若信道是平稳的 )|()|( xypp LXY 定理 ：若信道的输入和输出分别是 L长序 列 X和 Y,

23、且 信道 是 无记忆 的 ,亦即信道传 递概率为 )|()|( 1 ll L l XYpp XY 则存在 );();( 1 ll L l YXII 定理 ：若信道的输入和输出分别是 L长序 列 X和 Y,且 信源 是 无记忆 的 ,亦即 L l lXpp 1 )()( X );();( 1 ll L l YXII 则存在 若 信源 与 信道 都是 无记忆 的 );();( 1 ll L l YXII L次扩展信道 的信道容量 L l L l llPPL lCYXIIC XX 11 )();(m a x);(m a x 当信道平稳 时 : 1LCC L 一般情况下 : 1);( LCI 4.5.

24、6独立并联信道 设有 L个信道 ,它们的输入、输出分别是： X1,X2 XL； Y1,Y2 YL L l lL L CCCC IC 1 21 ,2,1 );(m a x YX 信 道 信 道 信 道 p(Y1|X1) p(YL|XL) p(Y2|X2) 每一个信道的输出 Yl只与 本信道的输入 Xl有关 ,与其 他信道的输入、输出都无 关。 独立并联信道的信道容量 X 1 X 2 X L Y 1 Y 2 Y L 4.5.7信源和信道匹配 一般情况下信源与信道连接时，其信息 传输率 R=I(X;Y)并未达到最大。若信息 传输率达到了信道容量，则称信源与信 道达到匹配；否则认为信道有剩余。 信道剩余度定义为 信道剩余度 =C-I(X;Y) 用相对剩余度描述信源与信道的匹配程度 相对剩余度 =C-I(X;Y)/C=1-I(X;Y)/C 无损信道中，信道容量 C=logr(r是信道输入符 号的个数） , 而 I(X;Y)=H(X) 无损信道的相对剩余度 =1-H(X)/logr