连续信源和信道PPT课件

《连续信源和信道PPT课件》由会员分享，可在线阅读，更多相关《连续信源和信道PPT课件（34页珍藏版）》请在装配图网上搜索。

1、 51 连续信源和波形信源的微分熵连续信源和波形信源的微分熵 52 具有最大熵的连续信源具有最大熵的连续信源 53 连续信道和波形信道连续信道和波形信道 54 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 第五讲第五讲连续信源和信道连续信源和信道 51 连续信源和波形信源的微分熵连续信源和波形信源的微分熵 连续随机变量是取值范围连续，而时间是离散的，连续随机变量是取值范围连续，而时间是离散的，所以也叫做所以也叫做时间离散的连续随机变量时间离散的连续随机变量。这种随机变量。这种随机变量的序列表示的信源为的序列表示的信源为连续信源连续信源。时间时间 t随机变量的取值范随机变量的取值范围

2、（符号集）围（符号集）x 随机过程随机过程是取值范围和时间都是连续的。随机是取值范围和时间都是连续的。随机过程表示的信源为过程表示的信源为波形信源波形信源。不同的观测不同的观测一次观测一次观测-样本函数样本函数随机变量随机变量随机过程在限频带随机过程在限频带 F F、限时间、限时间 T T的情况下的情况下，可以利用正交，可以利用正交函数系（如函数系（如KL变换）变换）展开为独立的展开为独立的有限个时间离散的随机有限个时间离散的随机变量。（王育民书后有附录）变量。（王育民书后有附录）2FT个自由度取样值。抽样间距个自由度取样值。抽样间距 1/2F.随机波形信源的特点：随机波形信源的特点：1、消息

3、数是无限的；、消息数是无限的；2、利用概率密度函数表示。、利用概率密度函数表示。平稳遍历随机过程：统计特性不随时间变化、样本函数平稳遍历随机过程：统计特性不随时间变化、样本函数 遍历各个样本值。遍历各个样本值。确定观测条件：确定的随确定观测条件：确定的随 t 变化的样本函数；变化的样本函数；确定时间：确定时间：随机变量。随机变量。连续随机变量的微分熵（差熵）连续随机变量的微分熵（差熵）iiiiXiiXiiXiiXiiiXxxxpxxpxpxxpxxpXh)log()()log()(log)()(iixxlog,0log)(0XhdxxpxpXhXX)(log)()(原式的一项的极限定义为连续随

4、机变量的原式的一项的极限定义为连续随机变量的微分熵微分熵：一般将上式中的第二项称为一般将上式中的第二项称为绝对熵绝对熵。以下式表示。以下式表示。微分熵与离散熵的微分熵与离散熵的不同不同：可以为负值；经过变换可：可以为负值；经过变换可能增加。（例如能增加。（例如KX。）。）微分熵与离散熵的微分熵与离散熵的相同相同：虽然不再表示集合事件出：虽然不再表示集合事件出现的不确定性度量了，但还是有许多和离散熵一样的性现的不确定性度量了，但还是有许多和离散熵一样的性质，特别是可以表示两个集合之间的互信息。质，特别是可以表示两个集合之间的互信息。对于联合集对于联合集 ，定义其微分熵，定义其微分熵)(,xypX

5、YXYdxdyxypxypXYh)(log)()(对于随机过程的微分熵，可以近似为随机变量系列。对于随机过程的微分熵，可以近似为随机变量系列。dxdyyxpxypYXHC)|(log)()|(条件熵：条件熵：)()|(),()|()|()()|()()(XHYXHYHXYHYXHYHXYHXHXYHCCCCCCCCC随机序列的微分熵和条件熵关系：随机序列的微分熵和条件熵关系：)()()()|()|()|()()()(2112121312121NNNNXhXhXhXXXXhXXXhXXhXhXXXhXh（Jensen不等式对于连续变量也成立。）不等式对于连续变量也成立。）例：令令X是在区间（是在

6、区间（a，b）上均匀分布的随机变量，上均匀分布的随机变量，求求X的微分熵。的微分熵。解：),(0),(1)(baxbaxabxpbaXXabdxababdxxpxpXh)log(1log1)(log)()(0)(10)(10)(1XhabXhabXhab例：令令X是期望为是期望为m，方差为方差为 的正态随机变量，的正态随机变量，求求X的微分熵。的微分熵。2解：)(21exp21)(22mxxp222222log212log2log)(21)(log(21log)()(21exp21log)()(log)()(eedxmxexpdxxpdxmxxpdxxpxpXHXXXXXC熵率：单位时间内信源

7、的微分熵。熵率：单位时间内信源的微分熵。例如均匀分布连续信源（序列）的熵率：例如均匀分布连续信源（序列）的熵率：对于限频对于限频 F，T时间内有时间内有2FT个自由度（样点），个自由度（样点），)log(2)log(2)(abFabTFTXht 注：注：对于随机过程的处理：首先搞清连续随机变量的特点，对于随机过程的处理：首先搞清连续随机变量的特点，再作再作 N 维序列的。对于限频维序列的。对于限频 F 限时限时 T的随机过程，的随机过程，可用可用 2FT 个自由度表示。个自由度表示。（或者最低取样间隔为（或者最低取样间隔为1/2F秒，故每秒秒，故每秒2F个样点，个样点，单位时间的熵即为乘以单位

8、时间的熵即为乘以2F）连续集的熵要在一定约束条件下求解极大值，否连续集的熵要在一定约束条件下求解极大值，否则仍可能为无穷大。例如对于正态分布的熵为，则仍可能为无穷大。例如对于正态分布的熵为，若不对功率加限制，将为无限大。若不对功率加限制，将为无限大。2/)2(log)(2eXh常见的限制为峰值功率受限和平均功率受限。常见的限制为峰值功率受限和平均功率受限。（1）峰值功率受限峰值功率受限：假定随机变量假定随机变量x的取值为的取值为 a,ba,b，badxxp1)(52 具有最大熵的连续信源具有最大熵的连续信源 若连续变量若连续变量x的幅度为的幅度为a,b，则则x的微分熵的微分熵)log()(ab

9、Xh（限幅情况下，均匀分布时微分熵最大）（限幅情况下，均匀分布时微分熵最大）定理：定理：证明：证明：设一般分布为去设一般分布为去q(x),最大分布为最大分布为p(x)01log)(1)(log)(1log)()()log()(1log)()(1log)()(1log)()log()(babababababadxabxqxqdxabxqxqdxxqabdxxqxqdxxpxpdxxqxqabXh（2）平均功率受限时平均功率受限时，限制随机变量，限制随机变量x 的平均功的平均功 率或方差，即率或方差，即 dxmxxp22)(定理：若连续随机变量的方差一定，则定理：若连续随机变量的方差一定，则x服从

10、正态服从正态 分布时的微分熵最大，分布时的微分熵最大，eXh2log)(证明证明：设一般分布的概率密度为设一般分布的概率密度为q(x),正态分布的概率密度为正态分布的概率密度为p(x)01log)()()(log)()(log)()(1log)()(1log)()(,()(,(2log212)(log)(21log)(21log)()(1log)()(1log)()(1log)()(,()(,(2222)(22dxxqxpxqdxxqxpxqdxxpxqdxxqxqxpXhxqXhedxmxexqdxxqdxexqdxxpxqdxxpxpdxxqxqxpXhxqXhmx熵功率熵功率：设任意分布

11、的连续集：设任意分布的连续集X的熵为的熵为h(X)，集集X的熵的熵 功率定义为高斯分布下的功率：功率定义为高斯分布下的功率：)(2221XhePPP PeXh2log21)(：为达到给定的熵值：为达到给定的熵值 h(X)，正态分布所需要的正态分布所需要的 功率为最小。功率为最小。如果熵功率和信号的平均功率相差越大，信号的剩余度越大。如果熵功率和信号的平均功率相差越大，信号的剩余度越大。知道集合知道集合X的熵功率，可以立刻得到熵值。的熵功率，可以立刻得到熵值。连续信源的剩余度连续信源的剩余度为：为：PP 53 连续信道和波形信道连续信道和波形信道高斯信道高斯信道：信道噪声为高斯噪声，概率密度服从

12、：信道噪声为高斯噪声，概率密度服从 N 维维 高斯分布。高斯分布。白噪声信道白噪声信道：信道噪声为白噪声。：信道噪声为白噪声。)(2)(0wNwPn（为双边功率谱密度）（为双边功率谱密度）高斯白噪声信道高斯白噪声信道：信道噪声为高斯白噪声。：信道噪声为高斯白噪声。（概率密度为高斯分布，功率谱密度为均匀分布）（概率密度为高斯分布，功率谱密度为均匀分布）2/2/0000NFTFTNFTNFN平均功率平均功率总功率总功率每个样点的功率每个样点的功率限频限时的高斯白噪声，分解为限频限时的高斯白噪声，分解为 2FT 个独立的分量：个独立的分量：均值为均值为0，方差为，方差为 的高斯变量。的高斯变量。加性

13、信道和乘性信道：加性信道和乘性信道：2/0N我们主要研究可加噪声信道我们主要研究可加噪声信道：y=x+n，n为加性噪声。加性噪声。)(xpXxx)(ypYyy)(npZnn满足概率密度满足概率密度 p(y|x)=p(y x)=p(n)的信道称为的信道称为加性噪声信道加性噪声信道。)(1011)(X)(),(),()(xnpxnpYnYXnXXxnpYXnXJxynxpxypXnXnXnXnXY采用坐标变换的方法：采用坐标变换的方法：)()|()()()()(|npxypnpxpxnpxypXXYnXXnXY因为因为X与与n是统计独立的：是统计独立的：连续随机变量的互信息连续随机变量的互信息 连

14、续随机变量需要用连续随机变量需要用概率密度概率密度来描述。来描述。)|()()()()(;)()(|xypxpxypdxxypypdyxypxpXYXXYXYYXYX互信息互信息：连续联合集连续联合集)(,xypXYXYYyXx,中事件中事件之间的互信息定义为：之间的互信息定义为：)()()(log)()()(loglim);(00ypxpxypyypxxpyxxypyxIYXXYYXXYyx在每一点在每一点 x 的概率为：的概率为：xxpX)(平均互信息：平均互信息：)|()()()|(log)()()|(log)(lim)()()(log)();(,00YXhXhdxdyxpyxpxypx

15、xpxyxpyxxypdxdyypxpxypxypYXIXYXXYjiyxYXXYXYdxdydzzypzxpzxypxyzpZYXIZYZXZXYXYZ)|()|()|(log)()|;(|dxdydzzpxypxyzpxyzpZXYIZXYXYZXYZ)()()(log)();(连续变量互信息的性质在许多方面和离散情况类似。连续变量互信息的性质在许多方面和离散情况类似。（1 1）非负性：）非负性：0);(YXI（2）对称性：对称性：)|;()|;(),;();(ZXYIZYXIXYIYXI（3）数据处理定理：数据处理定理：)(zfy);();(YXIZXI（4）互信息与条件互信息的关系：）

16、互信息与条件互信息的关系：)|;();()|;();();(YZXIZYIXZYIZXIZXYI)()()()|()()|()();(XYhYhXhXYhYhYXhXhYXI多维连续信道的信息传输率：多维连续信道的信息传输率：);(YXIR（比特/N自由度）平均每个自由度的信息传输率：平均每个自由度的信息传输率：波形信道的单位时间内的信息传输率：波形信道的单位时间内的信息传输率：NYXIRN/);()Y;X(1limITRTt（比特/秒）54 连续信道和波形信道的信道容量连续信道和波形信道的信道容量)|()(max);(max)()(XYhYhYXICxpxp)|Y()X(1limmax)Y;

17、X(1limmax)()(XhhTITCTxpTxpt由于加性信道的干扰和输入是统计独立的，所以由于加性信道的干扰和输入是统计独立的，所以)()()()(log)()()(log)()()|(log)|()()|(nhdxnhxpdndxnpnpxpdxdyxypxypxpdxdyxypxypxpXYh )()()|()();(nhYhXYhYhYXI 设信道干扰分布为独立于输入的均值为设信道干扰分布为独立于输入的均值为0、方差、方差 为为 的正态分布噪声的正态分布噪声 若输入连续集若输入连续集X的概率密度也为均值为的概率密度也为均值为0、方差、方差 为为 的高斯分布的高斯分布，2z2exp2

18、1)()()|(22nnnnpxypxyp2x2exp21)(22xxxxp输出为两个正态分布的叠加，因而也是正态分布，输出为两个正态分布的叠加，因而也是正态分布，其均值为其均值为0、方差为、方差为 222nxy22222222222)(nxyExnEnExnxnxEnxEyE例例：)1log(212log2log)()();(2222nxnyeenhYhYXIDYDXEYYEEXXEDYDXEYYEXXEDYDXEYYEYYEXXEEXXEEYYEXXEEYEXYXEYXD)()()()()(2)()()()()()(2222求变量和方差的一般情况：求变量和方差的一般情况：独立的独立的DYD

19、XYXD)(如果对如果对输入功率输入功率不加限制，互信息可能任意大。不加限制，互信息可能任意大。所以我们研究所以我们研究平均功率受限平均功率受限的可加噪声信道。也就是的可加噪声信道。也就是 sNiixiiixiiPxNdxxpxdpxxiN122221,)()(xx定理定理：平均功率受限的时间离散、恒参、可加高斯：平均功率受限的时间离散、恒参、可加高斯 噪声信道的容量为：噪声信道的容量为：（还是单个随机变量的还是单个随机变量的）)1log(212sPCPs 是输入平均功率的上限，是输入平均功率的上限，是均值为是均值为0的高斯噪的高斯噪声的方差。最佳输入分布是均值为声的方差。最佳输入分布是均值为

20、0、方差为、方差为 Ps 的高的高斯分布。斯分布。2证明：)()()|()();(nhYhXYhYhYXI222222222222)2()(sPEnExEnExExnEnExnxnxEnxEEy,2log21)(),(2log21)(22enhPeYhs)1log(212log21)(2log21)()(max222)(ssxpPePeZhYhC独立的：独立的：ExnExEn波形信道波形信道波形信道为连续时间的连续取值的信道。波形信道为连续时间的连续取值的信道。x(t)表示输入，表示输入，y(t)表示输出，表示输出，n(t)表示信道噪声。表示信道噪声。如果如果y(t)=x(t)+n(t)就称为

21、就称为可加性可加性波形信道。波形信道。波形信道在有限通信时间段波形信道在有限通信时间段0,T上，上，x(t)，y(t)是平是平方可积的函数，则它们可以经过方可积的函数，则它们可以经过正交展开正交展开，用，用 N=2FT 个时间离散的连续随机变量来表示。即转化为时间离散个时间离散的连续随机变量来表示。即转化为时间离散的连续变量序列。的连续变量序列。波形信道单位时间的容量定义为波形信道单位时间的容量定义为);(max1limNNTYXITC若信道干扰是可加性高斯白噪声，简记为若信道干扰是可加性高斯白噪声，简记为AWGN 若信道输入功率不超过若信道输入功率不超过 Ps，2/0N白噪声的功率谱密度为白

22、噪声的功率谱密度为2/2/)(002NWTTWNWTNWPWTTPPPNTYXITCssssTNNT2,2/2/)1log(211lim);(max1lim2N个的个的每个样点的最大平均功率每个样点的最大平均功率与谱密度的值相同与谱密度的值相同)1log()1log(0NPWWNPWCss香农公式：香农公式：)1log()2/2/1log(221lim00WNPWNWPWTTCssT是非高斯信道的是非高斯信道的信道容量的下限信道容量的下限物理意义物理意义：为了提高信道容量：为了提高信道容量：1、增大系统的带宽、增大系统的带宽 W；2、加大信号的功率；加大信号的功率；3、采用低噪声器件；、采用低

23、噪声器件；4、提高信噪比；、提高信噪比；W)(44.1log)1log(lim000NPeNPWNPWCsssW上式：上式：1)1ln(,0/1xxx 波形信道的容量的物理意义是什么？微分熵失去波形信道的容量的物理意义是什么？微分熵失去了信息熵的部分意义，了信息熵的部分意义，并不表示不确定性了并不表示不确定性了。连续变。连续变量的可能取值的数目是无限大的，若假定等概，则不量的可能取值的数目是无限大的，若假定等概，则不定度将为无限大。定度将为无限大。为什么用微分熵来表示连续变量？因为在实际问为什么用微分熵来表示连续变量？因为在实际问题中，常遇到的是熵之间的差，例如互信息，它们的题中，常遇到的是熵

24、之间的差，例如互信息，它们的无限大的量是抵消的，所以微分熵在许多实际问题中无限大的量是抵消的，所以微分熵在许多实际问题中还是很有用的。由此可见微分熵具有相对性，在取两还是很有用的。由此可见微分熵具有相对性，在取两熵之间的差时，才具有信息的所有特征。熵之间的差时，才具有信息的所有特征。那么连续变量的那么连续变量的互信息可以表示信息的传递能力互信息可以表示信息的传递能力，连续信道的容量表示最大的信息传递的能力。连续信道的容量表示最大的信息传递的能力。连续信道编码定理：连续信道编码定理：对于限带高斯白噪声加性信道，噪声功率为对于限带高斯白噪声加性信道，噪声功率为Pn，带宽为带宽为W，信号平均功率受限为信号平均功率受限为Ps。则则（1）当）当 总能有信道编码方法，使总能有信道编码方法，使Pe任意小；任意小；（2）反之，当）反之，当RC时，不存在这种编码。时，不存在这种编码。)1log(nsPPWCR第五讲第五讲 连续信源和信道连续信源和信道 结结 束束