信息论与随机过程

《信息论与随机过程》由会员分享，可在线阅读，更多相关《信息论与随机过程（59页珍藏版）》请在装配图网上搜索。

1、 课程主要安排n随机过程的概念与基本类型n马尔可夫链n隐马尔可夫模型n随机过程在生物信息科学中的应用 第二章 随机过程的概念和基本类型 第一节 随机过程的定义及其分类 第二节 随机过程的分布及其数字特征第三节 几种重要的随机过程简介 第一节 随机过程的定义及其分类一、直观背景及例子电话站在时刻t时以前接到的呼叫次数例1一般情况下它是一个随机变数X ，并且依赖时间t，即随机变数X（t），t0，24。例2研究某一商品的销售量一般情况下它是一个随机变数X ，并且依赖时间t，即随机变数X（t），t=1，2， 例3国民收入问题表示依赖于一个变动参量的一族随机变量。它虽然不能用一个确定的函数来描述，但也是

2、有规律的。随着各种随机因素的影响而随机变化，一般地有 其中C（t）、I（t）分别表示t年的消费和积累随机过程 )()()( tItCtY 二、随机过程的定义1随机 过程设E是随机试验， 是它的样本空间，T是一个参数集，若对于每一个都有随机变量 ，与之对应，则称依赖于t的随机变量 为随机过程，或称为随机函数。 通常记作Tt),( tX ),( tX说明1参数集T在实际问题中，常常指的是时间参数，但有时也用其它物理量作为参数集。 说明2因为 随机过程 )(tX，Tt 是一个二元函数 对于每一个固定的时刻Tt 0，)( 0tX是一个随机变量， 并称作随机过程)(tX在0tt 时的一个状态，)(tX

3、是一个确定的样本函数， 它反映了)(tX的变化“过程”。 2贝努利过程 设每隔单位时间掷一次硬币，观察它出现的结果。如果出现正面，记其结果为1；如果出现反面，记其结果为0。一直抛掷下去，便可得到一无穷序列 因为每次抛掷的结果是一个随机变量（1或0），所以无穷次抛掷的结果是一随机变量的无穷序列，称为随机序列，也可称为随机过程。 每次抛掷的结果与先后各次抛掷的结果是相互独立的，并且出现1或0的概率与抛掷的时间n无关。 0121或；，； nn xnx 设 P 1nx = p （第n次抛掷出现正面的概率） P 0nx = q = 1p （第n次抛掷出现反面的概率）其中P 1nx = p与n无关， 且i

4、x、kx ( ki 时)是相互独立的随机变量。称具有这种特性的随机过程为贝努利型随机过程。注如果固定观测时刻t，则它的试验结果是属于两个样本点（0，1）所组成的样本空间 如果在二个不同时刻1t，2t观测试验结果则样本空间出现的值为（0,0）,（0,1）,（1,0）,（1,1） 则 21,xx 是一个二维随机变量 三、随机过程的分类1、按参数集和状态分类 参数集T的是一个可列集T=0，1，2，离散参数连续参数参数分类参数集T的是一个不可列集0| ttT状态分类离散状态连续状态 )(tX取值是离散的取值是连续的 T离散、I离散T离散、I非离散（连续）参数T状态I分类概率结构分类2按过程的概率结构分

5、类T非离散（连续） 、I离散T非离散（连续） 、I非离散（连续） 独立随机过程独立增量随机过程马尔可夫过程平稳随机过程 第二节 随机过程的分布及其数字特征一、随机过程的分布函数一维分布函数其分布函数为 设 )(tX，Tt 是一个随机过程， 对于固定的Tt 1，)(1tX是一个随机变量， )()( 1111 xtXPxtF ；，Tt 1称)( 11 xtF；为随机过程)(tX的一维分布函数。一维概率密度 若存在二元非负函数)( 11 xtf；，使11111 )()( 1 dyytfxtF x； 则称)( 11 xtf；为随机过程)(tX的一维概率密度 二维分布函数联合分布函数二维概率密度二维随机

6、向量（)( 1tX，)( 2tX） Ttt ),( 21 )(,)(),( 22112121 xtXxtXPxxttF ； ， 称为随机过程)(tX的二维分布函数 若存在非负函数),( 2121 xxttf；),( 2121 xxttF； = 212121 ),(1 2 dydyyyttfx x； 则称),( 2121 xxttf；为)(tX的二维概率密度 例1 袋中放有一个白球，两个红球，每隔单位时间从袋中任取一球，取后放回，对每一个确定的t对应随机变量试求这个随机过程的一维分布函数族。分析先求概率密度 所以解对每一个确定的时刻t，)(tX的概率密度为3t te)(tX 32 31P)( 1

7、1 xtF；)( 11 xtXP 二、随机过程的数字特征 1均值函数或称为数学期望说明 设随机过程 )(tX，Tt ， 则 )()( tXEtm ，Tt， 称为随机过程)(tX的均值函数)(tm 是)(tX的所有样本函数在时刻t的函数值的平均 它表示随机过程)(tX在时刻t的摆动中心 2方差函数说明 随机过程 )(tX，Tt 的二阶中心矩)()()()( 2tmtXEtXDtD 称为随机过程)(tX的方差函数)(tD 的平方根)(t )(tD 均方差函数 它表示)(tX在各个时刻t对于)(tm的偏离程度 3协方差函数二阶中心混合矩简称协方差函数 称为随机过程)(tX的自协方差函数 当Tttt

8、21，有注 4互协方差函数其中 对任意Ttt 21,，则 称为随机过程)(tX与)(tY的互协方差函数)()( 11 tXEtmX )()( 22 tYEtmY 5相关函数简称相关函数注对任意Ttt 21,)( 1tX 和)( 2tX的二阶原点混合矩 ),( 21 ttR )()( 21 tXtXE 当0)( tm时，有 6互相关函数注 对任意Ttt 21, 设)(tX和)(tY是两个随机过程 ),( 21 ttRXY )()( 21 tYtXE 称为随机过程)(tX与)(tY的互相关函数 则 7互不相关注 对任意Ttt 21, 设)(tX和)(tY是两个随机过程 则称随机过程)(tX与)(t

9、Y互不相关 有 若随机过程)(tX与)(tY互不相关则 ),( 21 ttRXY )()( 21 tmtm YX即)()()()( 2121 tYEtXEtYtXE 若 例2.5 设随机过程 其中 是相互独立的随机变量，且 ， ，求 的均值函数 和协方差函数 。( ) cos( ) sin( ) 0X t Y t Z t t ,Y Z 0EY EZ 2DY DZ (), 0X t t ( )Xm t( , )XB s t解：由数学期望的性质，有因为 相互独立，故( ) cos( ) sin( ) cos( ) sin( ) 0EX t E Y t Z t t EY t EZ ,Y Z 2 2

10、2( , ) ( , ) ( ) ( ) cos( ) sin( ) cos( ) sin( )cos( )cos( ) ( ) sin( )sin( ) ( ) cos( ) X XB s t R s t E X s X tE Y s Z s Y t Z ts t E Y s t E Z t s 例2.8 设 为信号过程， 为噪声过程，令 ，则 的均值函数为其自相关函数为( )X t ( )Y t( ) ( ) ( )W t X t Y t ( )W t( ) ( ) ( )W X Ym t m t m t ( , ) ( ( ) ( )( ( ) ( ) ( ) ( ) ( ) ( ) (

11、 ) ( ) ( ) ( )( , ) ( , ) ( , ) ( , )W X XY YX YR s t E X s Y s X t Y tE X s X t E X s Y t E Y s X t E Y s Y tR s t R s t R s t R s t 特别，当两个随机变量的均值函数恒为零且互不相关时，有( , ) ( , ) ( , )W X YR s t R s t R s t 补例2解求：（1）均值函数；（2）协方差函数；（3）方差函数。设随机过程tUtX 2cos)( ，其中U是随机变量且5)( UE，6)( UD（1）)(tm 2cos)( tUEtXE 2cos Ut

12、E t2cos5（2） 1 2( , )B t t )()()()( 2211 tmtXtmtXE 2cos)5(2cos)5( 21 tUtUE )5(2cos2cos 221 UEtt 2cos2cos 21 UDtt 21 2cos2cos6 tt（3） 令ttt 21得ttXD 2cos6)( 2 第三节 几种重要的随机过程简介一、正交增量过程1定义 补充：独立随机过程简称独立随机过程。 设 )(tX，Tt 对任意n个不同的1t，2t，Ttn )(1tX ，)( 2tX，)( ntX是相互独立的 则称)(tX为具有独立随机变量的随机过程， 二、独立增量过程1定义随机变量的增量是相互独立

13、的 设 )(tX , Tt 是一随机过程，nn tttt 121 2.平稳独立增量过程 例1证设 )(nX，,2,1,0n 是相互独立的随机变量序列，令)()( 0 nXiY in则 )(iY，,2,1,0i 是一个独立增量过程。 )1()( iYiY )(iX （,2,1i） 而)(iX（,2,1i）是相互独立的 所以 )(iY，,2,1,0i 是一个独立增量过程。 三、马尔可夫过程简称马氏过程。 且nn tttt 121 |)( nn xtXP 11)( nn xtX ，)( 11 xtX = |)( nn xtXP 11)( nn xtX）， 则称)(tX为马尔可夫过程 马氏过程的特点马

14、氏性实质上是无后效性，所以也称马氏过程为无后效过程。称这个特性为马尔可夫性，简称马氏性。 当随机过程在时刻1nt的状态已知的条件下， 它在时刻nt（1 nn tt）所处的状态 仅与时刻1nt的状态有关， 而与过程在时刻1nt以前的状态无关 四、正态过程1定义为n维正态分布，其密度函数为也称高斯过程则称 设 )(tX , Rt 是一随机过程， 对任意正整数n及Rttt n , 21 ，随机变量)( 1tX , )( 2tX , )( ntX的联合分布函数),( 2121 nn xxxtttf ；)()(21exp|)2( 1 12/12/ mxBmxBn )(tX 为正态过程 其中 nxxxx

15、21 )( )( )( 21ntm tm tmm ),(),(),( ),(),(),( ),(),(),( 21 22212 12111 nnnn nnttBttBttB ttBttBttB ttBttBttBB 且)()( ii tXEtm )()()()(),( jjiiji tmtXtmtXEttB ),( ij ttBB为协方差矩阵)( mx 表示)( mx的转置矩阵 例5证可得设 )(tX , Rt 是一个独立的正态过程， 若21 tt ，)( 1tX与)( 2tX相互独立，)()()()(),( 212121 tmtmtXtXEttB 0)()()()( 2121 tmtmtEX

16、tEX注逆命题也成立 五、维纳过程1定义则称或布朗运动过程 当1时，称为标准维纳过程特别 维纳过程是一类非常重要的随机过程，它是基于对例子布朗运动的数学刻画。维纳过程经常被广泛地应用到经济学、管理学等其他应用学科之中。 维纳过程是布朗运动的数学模型. 英国植物学家布朗在显微镜下，观察漂浮在平静的液面上的微小粒子，发现它们不断地进行着杂乱无章的运动，这种现象后来称为布朗运动. 以W(t）表示运动中一微粒从时刻t=0到时刻t0的位移的横坐标（同样也可以讨论纵坐标），且设W(0)=0，根据爱因斯坦1905年提出的理论，微粒的这种运动是由于受到大量随机的相互独立的分子的碰撞的结果. 于是，粒子在时段（

17、s,t上的位移可以看作是许多微小位移的代数和. 则W(t)-W(s）服从正态分布. 2均值、方差、协方差及相关函数均值协方差及相关函数证0)( tXE方差ttXD 2)( 由定义可得均值、方差公式 下证 当21 tt 时)()(),( 2121 tXtXEttR )( 1tXE )()( 12 tXtX + )(12 tX )( 12 tXE )0()( 1 XtXE )()( 12 tXtX )( 1tXD 12t同理 当12 tt 时),( 21 ttR 22t 故 ),min(),( 21221 ttttR 显然 3维纳过程是正态过程由维纳过程定义知 设 )(tX , 0t 是一维纳过程

18、，0)0( X 对任意nttt 21，)(1tX（ , )( 2tX )(1tX , ）)()( 1 nn tXtX服从n维正态分布 故知)( 1tX（, )( 2tX , ）)( ntX)(1tX（ , )( 2tX )(1tX , ）)()( 1 nn tXtX 100 110 111 )( 1tX（, )( 2tX , ）)( ntX服从n维正态分布，所以)(tX 为正态过程 又因 4具有马氏性证因此所以 因)(tX是维纳过程 增量)()( sXstX 与时刻s以前的状态)(X ( s 0 )独立，xsXastXP )(|)( ，)(X，s0 xsXxasXstXP )(|)()( ，)

19、(X，s0 xsXxasXstXP )(|)()( xsXastXP )(|)( 所以维纳过程是马氏过程。 六、平稳随机过程 平稳过程的统计特性与马氏过程不同，它不随时间的推移而变化，过程的“过去”可以对“未来”有不可忽视的影响。定义2.12 例2.13 设随机过程其中Y，Z是相互独立的随机变量，且 ，则随机过程 为广义平稳过程。( ) cos( ) sin( ), 0X t Y t Z t t 0EY EZ 2DY DZ ( ), 0X t t 七泊松过程满足 设随机过程 )(tX，0t 是一个计数过程， （1）0)0( X （2）)(tX是独立增量过程则称 （3）对任一长度为t的区间中事件

20、的个数 即对一切0, ts，有)()( ksXstXP tk ekt !)( ,2,1,0k 注意从条件（3）可知泊松过程有平稳增量，且ttXE )(并称 为此过程的生起率或强度（单位时间内发生的事件的平均个数）。 说明 要确定计数过程是泊松过程，必须证明它满足三个条件：为此给出一个与泊松过程等价的定义 然而全然不清楚如何去确定条件（3）是否满足 则称其中)(h表示当0h时对h的高阶无穷小，（1）0)0( X设随机过程 )(tX，0t 是一个计数过程，参数为（0），满足定义2 泊松过程的基本性质一数字特征 ( ) ( ) ( ) ( ) ( )E X t X s D X t X s t s 2

21、 (0) 0,( ) ( ) ( ) (0)( ) ( ) ( ) (0)XX Xm t E X t E X t X tt D X t D X t X t 由于故 22( , ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) (0) ( ) ( ) ( )( ) ( )( 1)XR s t E X s X t E X s X t X s X sE X s X X t X s E X ss t s s ss t ( , ) min( , )XB s t s t 2到达时间间隔和等待时间的分布定义则称 设 )(tX，0t 为泊松过程，iW （,2,1i）表示事件第i次发生的等待时间 nW

22、，1n 为等待时间序列 以nT（1n）表示第1n次发生 到第n次发生之间的时间间隔则称 nT，1n 为到达时间间隔序列 定理3.2证或 事件 tT 1 的发生当且仅当没有泊松事件在0 t，内发生 故当0t时，有0)( 1 tXPtTP tt eet !0)( 0 1 tTP te 1 那么类似地有 0,0 0,1)(1 ttetF tT 即1T是服从均值为/1的指数分布。又因2T为事件第一次发生到第二次发生之间的时间间隔，| 112 sTtTP |,( 1111 sTtssP 内没有事件发生在,( 11内没有事件发生在tssP （增量的独立性）0)()( 11 sXtsXP 0)0()( Xt

23、XP（平稳独立增量过程） tetXP 0)( 可见一般地2T也服从均值为/1的指数分布 且2T与1T独立同分布。 对1n和0121 nssst， ,| 112211 nnn sTsTsTtTP 内没有事件发生在,( 1111 tssssP nn ,| 112211 nn sTsTsT 内没有事件发生在,( 1111 tssssP nn 0)()( 1111 nn sstssXP X 0)0()( XtXP tetXP 0)( 这就证明了到达时间间隔序列 是相互独立同分布的随机变量序列，且都具有相同均值为 的指数分布。/1 定理3.3其概率密度为设 )(tX，0t 为泊松过程，证 则等待时间nW（1n）服从),( n分布，)(tf )!1( )( 1 nte nt ，0t因为 事件 tWn 等价于事件 ntX )( 所以nW 的分布函数为)( tWPtF n )( ntXP tnk k ekt !)( 0t 于是nW的概率密度为)()( tFtf tnk k ekt )!1( )( 1 tnk kekt )!( )(tn ent )!1( )( 1 tnk k ekt 1 1)!1( )( tnk kekt )!( )()!1( )( 1 nte nt 又称为爱尔兰分布，它是n个相互独立且服从指数分布的随机变量之和的概率密度。