信道容量的计算

《信道容量的计算》由会员分享，可在线阅读，更多相关《信道容量的计算（3页珍藏版）》请在装配图网上搜索。

1、信道容量的计算 ; 4.2信道容量的计算 这里，我们介绍一般离散信道的信道容量计算办法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布P(x)求平均互信息的极大值。前面已知IX;Y是输入概率分布的上凸函数，所以极大值一定存在。而I(X;Y)是r个变量rp(x1),p(x2),p(xr)的多元函数。并且满足p(xi)1。所以可用拉格朗日乘子法来i1计算这个条件极值。引入一个函数：I(X;Y)p(xi)解方程组iI(X;Y)p(xi)ip(xi)p(xi)0ip(xi)1 4.2.1可以先解出到达极值的概率分布和拉格朗日乘子的值，然后在解出信道容量C。因为rsI(X;Y)i1

2、j1p(xi)Q(yixi)logQ(yixi)p(yi)r而p(yi)i1p(xi)Q(yixi)，所以 p(xi)logp(yi)(plnp(yi)loge(x)iQ(yixi)p(yi)loge。解4.2.1式有sj1Q(yixi)logQ(yixi)p(yi)rsi1j1p(xi)Q(yixi)Q(yixi)p(yi)loge0对i1,2,r都成立 又因为rk1p(xk)Q(ykxk)p(yj)sQ(yj1jxi)1,i1,2,r所以(4.2.1)式方程组可以转化为sj1rQ(yjxi)logQ(yjxi)p(yj)loge(i1,2,r)i1p(xi)1若使得平均互信息I(X;Y)到

3、达极值的输入概率分布p1,p2,pr这样有rsi1j1p(xi)Q(yjxi)logQ(yjxi)p(yj)loge从而上式左边即为信道容量，得Cloge 现在令sI(xi;Y)j1Q(yjxi)logQ(yjxi)p(yj)式中，I(xi;Y)是输出端接收到Y后获得关于Xxi的信息量，即是信源符号Xxi对输出端Y平均提供的互信息。一般来讲，I(xi;Y)值与xi有关。根据4.2.2式和4.2.3式，I(xi;Y)C(i1,2,r) 所以对于一般离散信道有如下定理。定理4.2.1一般离散信道的平均互信息I(X;Y)到达极大值即等于信道容量的充要条件是输入概率分布p(x1),p(xn)满足(a)

4、I(x1;Y)C对所有的xi,p(xi)0 (b)I(xi;Y)C对所有的xi,p(xi)0 这时C就是所求的信道容量。对于离散信道来说，其实信道容量还有一个解法：迭代解法。定理4.2.2设信道的向前转移概率矩阵为Q(Q(yjxi)KJ，P是任给的输入字母的一个初始概率分布，其所有分量P(xk)0。按照下式不断地对概率分布进行迭代，更新：r1r00P(xk)P(xk)k(P)Kri1rP(xi)i(P)rr其中k(P)expI(Xxk;Y)PPrJexpQyjxklogj1QyjxiKr PQyjxii1由此所得的IP,Q序列收敛于信道容量C。r我们还可以将上述过程写成算法以便编制程序实现如图

5、4.2.1KILlogk1P(xk)k(P)IUlogmaxk(P)k开始KILlogk1P(xk)k(P) P0P IUlogmaxk(P) kk(P)IL(P)IU(P)IUILCILP(x)P(x)图4.2.1信道容量的迭代算法对于一些特殊的离散信道，我们有方便的办法计算其信道容量。(P)1P(x)(P) 定义4.2.1设X和Y分别表示输入信源与输出信源，那么我们称HXY为损失熵，HYX为信道噪声熵。如果信道的损失熵HXY0，那么次信道容量为CmaxIX;YmaxH(x)HXYP(x)P(x)maxH(X)1ogrbit/符号这里输入P(x)信源X的信源符号个数为r。如果信道的噪声熵HY

6、X0，那么此信道容量为CmaxIX;YmaxH(Y)logsbit/符号P(x)P(x)这里输出信源符Y的符号个数为s.定义4.2.2一个信道Q称为对称离散信道，如果它满足下面的性质： 1信道Q矩阵中每一行是另一行的置换； 2每一列式另一列的置换。 示例，信道矩阵Q131613161613112611和Q6313131216161 312满足对称性，所以对应信道是对称离散信道。 定义4.2.3对称离散信道的信道容量为ClogsHP1,P2,Psbit/符号上式只与対称信道矩阵中行矢量P1,P2,Ps和输出符号集的个数s有关。证明I(X;Y)H(Y)HYX 而 HYXxP(x)Pyxlogy1p

7、yxxP(x)HYXx由于信道的对称性，所以HYXx与x无关，为一常熟，即 CmaxH(Y)HP1,P2,PsP(x)logsH(P1,P2,Ps) 接着举一个例子加以表明。例4.2.1某对称离散信倒的信道矩阵为 P13161316161316 13用公式计算信道容量 Clog4H(,1313131111,) 33662loglog1316log1616log1 60.0817bit/符号定义4.2.3假设信道矩阵Q的列可以划分成假设干互不相交的子集矩阵BK，即BiBj,(ij)且B1B2BnY。由BK为列组成的矩阵Qk是对称矩阵，那么称信道矩阵Q所对应的信道为准对称信道。示例，信道矩阵P11

8、31613131616160.7P20.2130.10.10.2 0.7都是准对称信道，在信道矩阵P1中，Y可以划分为三个子集，由子集的列组成的矩阵为131616 ， 1313 ， 1316 13它们满足对称性，所以P1对应的信道是准对称信道。同理P2可划分为0.70.20.2 ， 0.70.1 0.1这两个矩阵也满足对称性。下面，我们给出准对称离散信道的信道容量计算公式nClogrH(P1,P2,Ps)k1NklogMk其中，r是输入符号集的个数，(P1,P2,Ps)为准对称信道矩阵中的行矢量。设矩阵可划分为n个互不相交的子集。Nk是第k个子矩阵Qk中行元素之和，Mk是第k个子矩阵Qk中列元素之和，即NkPyxiyYk