第一章 随机序列

《第一章 随机序列》由会员分享，可在线阅读，更多相关《第一章 随机序列（25页珍藏版）》请在装配图网上搜索。

1、第一章 随机序列前言：这一章是本书的预备知识. 我们借助于实例，用较通俗的 语言引入平稳随机序列的概念 . 然后介绍平稳随机序列的描述方 法，并且对平稳序列中的“频谱分析方法”、“相关分析方法”及“参 数化方法”之间的关系给予简要说明 . 另外，还将介绍两种常用的 估计方法，以备后用.讨论描述随机过程的方法必须注意随机过程表面上杂乱无章(如Brownian Motion)但是，它既然是客观事物和数量表征，必然 有其内在的规律；为了掌握和利用这些随机过程所表现出来的规 律，需要一定的数学工具，这就是随机过程理论.这章主要讨论随机 序列的概率分布、参数表征、平稳随机序列(定义、谱分解、白噪 声序列

2、、线性运算、有理谱密度的平稳序列、随机差分方程、遍历 性)、多维随机序列、两种估计和参数估计的优效性概念。1随机序列的概率分布：随机序列由无穷多个随机变量构成的，我们说给定了一个随机序 列x (t二1,2,L )的概率分布，是指对于任意有穷多个时刻2丄，t，相 应的随机变量 x ,x ,L ,x 的联合分布函数 F (x,x ,L ,x )都是被给 t ttt t L t 1 2 m定的，而且它们之2间不能矛盾，即是说由高维m联合分布推出的低维 联合分布与原给定的低维分布相同. 有时我们也说给定了序列 x 的 任意有穷维分布.x为独立的随机序列：若对于v有穷个不相同时刻 t,t ,L ,t 相

3、应x ,x ,L ,x 是相互独立的 random variable 即1 2mt1 t 2tmF (x , x ,L , x ) = F (x )F (x )L F (x )t t L t 12 m t 1 t 2 t mExp：电话中的热噪声常常近似于这种独立序列.由于分布函数完整地描述了随机变量的统计特性，故严平稳随 机过程的所有统计特性均不随时间的平移而变化 . 故这一要求相当 严格. 称之为严平稳(狭义平稳) .而宽平稳过程对时间推移的不变性表现在统计平均的一、二阶 矩上. 显然，严平稳过程比宽平稳过程之条件要求更“严”.x为狭义平稳序列(严平稳序列)：若一个随机序列x的任意有 穷维

4、分布满足：Vt eZ (整数集)， m, t +t (i = 1, m)F(x , x ,L , x ) = F(x , x , L , x )tt L t 12mt +t ,t +t L ,t +T 12m即x ,L , x和x ,xm丄，x有相同的分布，无论对怎样的m和时刻ttt +T t +Tt +Tt,t ,L ,t以及T1都如此m1 2 m均值函数：对每个t而言，若把随机变量x的均值记为Ex = 则随机序列x的均值函数就是卩(t = 1,2,3,L )；若x的分布为F(x)，若 x具有密度f(x)，贝Ittttt2随机序列的参数表征：卩三 Ex 三 J xdF (x) = J xf

5、(x)dx -ttttRemark：卩可取常数(1例4且电负荷量)可取周期函数( 1例2某点平均水温)；或取其它形式，为方便计，称Ex =卩为x的 均值. t t t 自协方差函数：易知随机序列的均值只和随机序列的一维分布有关，为了分析随机序列 x 在不同时刻取值的统计关系，须要考 虑x与x的协方差值，令ftsr 三 E(x Ex )(x Ex )三 JJ (x p )(y p )f (x, y)dxdytstt ssts tsr作为(t,s)的二元函数，称为随机序列x的自协方差函数，特别称tstr = E(x -Ex )2为x的方差函数，简称方差.若一个随机序列x的任意 有穷维分布都是正态分

6、布，则称x为正态随机序列.若以f表示相应于F的分布密度，此时(x，x,L ,x ) = (2 兀 1 r D-. -exp 卜扣-p 河-1(x -p )三 N( p , r )t1t2L t1 2其中 xt = (x ,A , x ) ；pi 三(p , p ,Lt1tt1t 2rLt1t1,p t r Lt1mm很多实际应用的随机序列可近似当做正态序列，正态序列在数学处理上有很多方便之处. 自相关函数：序列的自相关函数P定义为tsP 三 r r r ts ts 齐 tt ss 它刻划了序列x在不同时刻取值的线性相关程度.tRemark :随机序列的参数表征还有很多，与本书关系密切的就 是以

7、上三种量.从上述表述易见，p , r和p被x的分布唯一确定.t ts ts t但是，反之由卩,r和p 一般并不能唯一确定x的分布，即具有不同 t ts ts t 分布的随机序列可以有相同的均值、自协方差和自相关函数.3平稳随机序列：为便于读者掌握，我们把本书的讨论几乎完全限于正态序列范围 之内，这不会影响时序分析方法的介绍，且会使很多数学概念和性 质有较为简单的形式，只是在某些个别情形下，我们指出对于非正 态序列的类似结果. 特别，本书所介绍的各种方法的基础是广义平 稳序列(宽平稳序列).(1) 广义平稳序列的定义：若随机序列x的二阶矩有穷(Ex 2且对任意时刻t和s满足：ttEx = ptE

8、x x - p 2 = r = r为方便计，通常不妨设p =则称它为广义平稳序列(宽平稳序列)，即p与t无关，r只与t-s有ts关.“广义”是相对于“狭义”而言的，简称平稳过程Remark :若狭义平稳过程(序列)二的一、二阶都有穷(Ex ,Ex2 心则它一定也是广义平稳的.(Ex = J xdF (x) = J xdF (x)三 at Ri rr t R rr与t无关Ex x = JJ xxdF (x ,x ) = JJ xxdF (x ,x ) = f (t )I t +t t1 2 t +t ,t 1 21 2 t ,0 1 2/若x是正态随机序列，x的狭义平稳性。x的广义平稳性.(Q

9、E(xt -p)(x - p)，复旦大孝随机过程第三册P183特征函数) Proof： “二”若*,t eT是狭义平稳的(严平稳的)，又正态过 程有二阶矩，.由知x ,t eT为宽平稳的.“ u ”若正态过程是宽 t平稳的，则Ex 三 a, t e TtE(x - a)(x -a) = r(t -t ) = r(t +t) -(t +t)tit ji j i j= E(x-a)(x-a), t eT, i =1,2,L ,nt +tt +tiij表明(x ,x ,L ,x )和(x ,x ,L ,x )具有相同的协方差矩阵和均值向t ttt +T t +Tt +T量，而1正态(多维)分布仅由它

10、们确定(特征函数知识)因而F (x ,L , x ) = F(x ,L , x )t ,L ,t 1nt +t ,L ,t +t 1nx, t e t是严平稳(狭义平稳)过程tTheorem.设x, t = 0,1,L 为平稳列，则x要表为 ttx =i K etdz (九)t兀x其中z (心,九e -兀,兀是标准花的具有正交增量的，左(L2)连续的x随机过程，且E(z (A )FT&3) = F (A I A ), A , A eB (-兀,兀)这样的正交 增量过程唯一地由；所确定.(证明略1 2t 实际应用中，平稳序列仅仅是对于真实随机序列的一种近似 描述手段. 例：电路中的热噪声，陀螺仪

11、的漂移速率及其它精密仪 表的漂移误差，金融中的收益率序列等，第三章将给出一种粗略判 别平稳序列手法.(2) 自协方差函数与谱分布(x为实列)对于正态平稳序列x，其均值和自协方差函数r 唯一决定了它 的分布(1.2.6)式知)，从而也就决定了它的全部统计性质，故讨 论自协方差函数r的性质十分重要，也是首要任务.r满足：S _t 对称性：r = r (Q r = Ex x = Ex x = r )T T Tt T tt t T T 非负定性：对Vmez+=1,2,L ，方阵(r0r1Lr1r0Lrm1rm2LLLLr )m1rm2L是非负定的.ro丿(Q对Vm维实值非零向量忆,g ,L ,g )t

12、都有： 0 1m 1gTr g =迟 r gg 二 Sgg E(x p)(x P)mi j i ji j iji,j=0i,j=0二 E刃g (x - P)2 0)iii=0有时称满足上述性质1和性质2的实数列r , r ,L , r ,L称为非负定列. 0 1 m易知r 0, | r l r，反之，任意一个非负定列必为某平稳序列的自协 、士 0、以T 0方差函数(3， E.lukacs, Characteristic Functions, London, 1960).Theoreml.设丫为一平稳序列的自协方差函数，则存在一有界非k降函数G (九)，使得r =J 1/2 ei 2k kx d

13、G (X)(相关函数的谱表示Th)k=dG （九） =d九k 1/2G(X)称为平稳序列x的谱分布，若G(X)可微，并记g(X) tr =J 1/2 ei2kk九 g（九）d九 kk-1/2则r =fg(X) 称为平稳序列 x 的谱密度.有的工程书t当艺 I r I g 时，g(X) 一定存在且g(X)=另 r e-i2k kX .kk上，称g(X)为序列的功率谱密度.k k=-(3)白噪声序列若平稳序列a的均值为0，自协方差函数r =a26，我们称这样 tk a k 0的 a 为白噪声序列，或简称白噪声，它的谱密度：tg (X) = S Q 26 e-i 2k k X =Q 2aa k 0a

14、可见g (X)为一常数，即序列的谱密度在各个频率上具有相同的分量(正象白光一样，等量地包含了各种有色光的光频分量) .Remark:很多随机序列可以近似地符合白噪声的性质.虽纯粹 的白噪声很难遇到(自然界) .4)平稳序列的线性运算设 x 是ty =ax + Px ，ttt T还是平稳序列平稳序列，a,P是两个实数，t是某一固定时刻，则随机变量可以进行加减等运算，随机序列也是如此.（令 Ey = p 验证 Ey y p 2 = f （t ）t 2t t -T2 /假定a是实数列，且三|a |2，那么易验证kkk =一8也是平稳序列，其中三y =艺taxk t-kk =一8axk t-kk =一

15、8，作为当M,N Ts时S a x的均方极k t-kk=-M限.(Remark：设x 为平稳序列，若e I x -x|2 kT0，称x 均方收 kkk敛于x，又称x为x 的均方极限).kRemark： (A)取x = a为白噪声，当k q时(k 0tk t-ktkk=0时a = 0)，贝U y = Sa aktk t-k称为a的q阶滑动平均.t上两式所给出的平稳序列，其自协方差函数和谱密度可利用 at的性质很方便求出，约定k t时=Q2 S a a akk -|t - s|k =|t - s|k+s-t=mr y = Q 2s-taSaamm-(s-t)m=s-t当s t时，由于k 0时a =

16、 0，k=Q2 S a a =Q2 Sak k+s-tak=t-sk=t-sry =Q2 S a as-tak k+s-tk=t-s从而总有ry =q2 a aak k -|t-s|k =|t- s|W.s-tg (九)=rye-i2兀T久=Q 2 yTT =8a ae2兀t久ak k +TT =8 k=0akk +Takk +Tk = 0 T=- k若令则上式可表为k = 0 T=- ka ei2兀k久艺ae-i2兀(k +t)久=b 2艺akk +Tk=0T =-km=T + k= b 2厶ja ei2兀k久a e-2兀m久akmk=0m=0=b 2 艺a ei2“k九无a e-i2“k九

17、=b 21 艺a e-i2“k九 |2 akkakk=0k=0k=0A（）=艺akkk=0g （九）=b21 A（e-i2“九）|2.ya例下面介绍有理谱密度.它比白噪声a的常值谱密度更具一般 性，y具有较复杂连续谱密度.t(5) 具有有理谱的平稳序列：对于正态平稳序列，只要知道了它的自协方差函数 r ，或知道 k了它的谱分布G(九)，就等于掌握了它的统计性质.主要利用r去分析 k 时间序列时，称为“相关分析法”或“时域分析法”；利用后者时， 称为“频谱分析法”.怎样求得一个正态平稳序列x的r或G(九)呢？tk主要利用x的样本值x ,x ,L ,x对r或GO)进行估计，这是时序分析 要解决的主

18、要问题之一/这有两个难点： r (k = 0,1,2,L )是由无穷多个值构成的，谱密度G(九)为在-,-k 2 2内取值的函数，用有穷个x的样本值对所有r或G(九)的所有取值进行tk估计，难点之一. 即使能对r或G(X)的所有取值做出估计，由于r ,r ,L或G(X)的 形状复杂，也不利于在预报、控制或模拟等应用中使用.于是为克 服这两个困难，我们采取绪论中提到的“参数化”方法，即将G(X)局 限在一个较窄的函数范围内讨论，我们只讨论这样一类正态平稳序 列，它们的谱分布G(X)不仅可微，而且它的导函数(谱密度)g (x)三dG (X)为e -i 2“X的有理函数：d Xg (X) =b 2

19、|- |2(I)a 甲(e-i2“X )其中e（）和申（）为的实系数多项式:II）0 （） 1 0 0 co 2 L 0 co q12q申（） 1 申 申 2 L 申 P12p两者无公共因子，且限定e（）和申（）的根全在复平面的单位圆外.这样一来，为了估计G（九），只要估计p,q,b 2和（II）中诸系数0 ,L ,0a1 q利用（I）式即可得到和* ,L ,*即可，这些只是有限个系数而已.有了这些参数的估计值, 1pg （九）在*2）上的各处取值的估计.在用于预报、控制和模拟等目的时，由于g（九）拥有（I）之形式，解决问题就 方便多了.Remark: 谱密度有（I）这种形式的x，称为具有有理

20、谱的平稳序列； 对于g （九）为连续的情形，它可用有理谱来逼近真实的谱，这 是较有效的一种方法.（6）随机差分方程： 据前所述，具有有理谱的平稳序列的自协方差函数 r 也是被以k 上诸参数所决定.Q 由 Thl 知r c2i 1/2| 0 （e12）|2ei2k以d九 k 0,1,2,Lka 1/ 2* （ei2兀久）（ III）反之，若r能表成（III）之形式，则随机序列也一定具有（I）形式 的有理谱密度.例 1 取g （九）-c 2 /|1 *e i 2k k 九 卩，| * | 1a贝 Ur =c 2 f 1/21ei 2k k 九 d 九ka 1/2 11 *e_i2k九 |2c2fa

21、1/21/2cos 2k k 九1 2* cos 2兀九+ * 2c2a1 *2k 0,1,2,L（Q f 1/2 2 k 入九 2岀丄 f k _沁dt1/21 2* cos 2k尢 + *22k兀 1 2* cos t + *2当 I Q 2 I 1 时=1 + 江 Q m cos mt，1 2Q cos t + Q 2=此级数对一切t 一致收敛，它的各项都乘以同一有界函数cos kt 后仍然一致收敛，从而(1Q2)Jcos kt= J k cos ktdt + 2艺 Q m Jkm =1k 1+ coskt=2q k J kdt = 2kq kk2cos kt“ cos mt cos k

22、tdt = 2qk J “ cos2 ktdtkk从而 丄“竺卫 dt = f2“ “ 1 2Q cos t + Q 21/2cos 2k k 九 d 九1/21 2 申 cos 2 兀九 + Q2Qk=(k = 0,1,2,L )1Q20 (e-i 2厭)ei2“ k九 |2 Q 2d九，Q (ei2nl)ar J 1/2k k1/2则随机序列 也一定有g (九)M 2|如巴|2形式的有理谱密度.ta Q (ei 2k九)(Theorem1 g()uu g()ng()P g() nn令 g ()(n 二 1,2,L )，g ()疋 r v，贝9to :limg )二g)=； : 1 UI (

23、Ig ) g)l N 时均有 I g (o) g (o) I 丄 onm(Ig (o) g(o)|丄)之下限事件.nmoP g (o) g (o)| 丄)；=0nm Jm=1 k=1 n=kOV8 0 成立 P J 1 U (I g (o) g (o) I )= 0k=1 n=k n IJ=P limAA = (I g (o) g (o) I)nnnns使当对v 一正整数m, O属于ornsTheorem2若申(b)没有模为i的因子(即申(e - i 2切丰0 ),若co为差t 分方程 x 一甲 x 一L 一甲 x 二 a -0 a 一L -0 a t 二 L ,-1,0,1,L ( IV )

24、的 t1 t 一1p t 一 p t 1 t 一1q t 一 q平稳解(即它是平稳序列且满足(IV),则co有有理谱密度 tg (X) =0 2|如巴|2.反之，若平稳序列o有此谱密度，则o可表 a 甲(e-i2nX )tt成(IV )形式.Theorem3 (Wiener-XHHYH )设x, t = 0,1,L 是平稳列，其相关 函数(r ,k = 0,1,L )满足艺| r |+，则x必有非负谱密度函数f (X)， kkt且r (t )和f (X)是Fourier变换的关系：x(k) = J 兀 eikX f (X)dX, k = 0, 1,L-兀f (X)二-1 艺 r (k)e-ik

25、X, -k X 兀W2兀x推论，若x , n = 0,1,L 是实一平稳列，r (t )绝对可和，则谱密度 nxf (X)必存在，并且(a) f (X) = f (-X), -k X kb)f (X)=丄 Jr (0) +r (k)coskX2k Ixfk=1r (n) = 2J k f (X)cos nXdX这表明自协方差函数为一指数型数列，反之，若r二工甲k形k 1 一甲 2式，则相应的随机序列一定具有谱密度g(X) =G2d1-Qe-i2KX卩，|申| 1. 虽然(III)式反映了有理谱与其相应的自协方差函数之间的关系， 但是，为了以后的时域分析，还要引进随机差分方程的概念.上例中Q Z

26、 | r I t时，Ex a 0，那么我们就说 x是随机差分方程（IV）的一个平稳解.Q根据平稳序列的理论（1 附录，1Th1）知，具有有理谱密度g（九）（I）的平稳序列，一定是 随机差分方程（IV）式的一个平稳解；反之，（IV）式的平稳解一定 具有（I） g（九）的有理谱密度.于是建立关系：具有有理谱的平稳序 列随机差分方程的平稳解.例1 （同前）具有谱密度g（九）b2.f|lqe-i2厭|2, |甲| 0 E(x 一申 x x ) Ex a 0t kt k t 1t k tr 申 r , k 0kk1r Ex2 E(a +Qx )2 b2 +92r n r b2 .(lq2)0ttt1a0

27、0ar 9r 9 2r Lkk 1k 2b29 k r a9 k0192这与前面解答完全一致，但计算方便.另一方面，（V）又可写为x -9 x + a，表明了 x的前后依赖关 系（这很类似x -9 y + a的回归方程;1-x自身滞后一步）， :.x 9 x - a又称（x ）的平稳解x为一阶自回归序列，而参数9表明x 前后的相关程度.ttt由（V）推知:x 9x + a 9(9x+ a )+ a 92x +9a + alttt 1tt 2t 1tt 2t 1L 9 nx +9n1a+9n2a+L +a由于9（）-1-9的根在单位圆外（Q；1 1）奸上式两选取极限得到:(lim) EI x 一

28、艺9 ja I2 E19nxI2 92nE I xI2t 0tntntt jj0x lim(9 nx + 刃9 j+0 a ) 无9 jatt nt jt jT8j0j0(Q Ex 卩 x J 1/2e-i2兀立(d九)t t 1/2这恰如平稳列的滑动和(x只是a , att t 1均方意义下）,L的滑动和，而a是白噪声,t当t s时，x与a独立，Ex a = Ex Ea = 0）下面再从滑动和回到谱 密度，Q Iq | 1，由 g （九）=g21 A（e-i2厭）|2 知yaA（）二Eq j j 二 ,| | 11 -qrnj=0g（九）=g21 A（e-i2族）|2=g2 ； 11 -qe

29、 -i2兀九|2aa=g2,；（l+q2 一2q cos 2兀九）从此后，我们所讨论的平稳随机序列，不仅限于正态序列，而且都 有有理谱密度.即它们必是（IV）型的随机差分方程的平稳解，利 用（IV）,下一章再详细分析相应r的各种性质.k（7）遍历性：为了估计p，q，g 2和q（）与9 ）的系数等值，常用的统计方法 显得不够用，应用新手段的一个重要前提：随机过程要具有遍历性 遍历性定义：设x为一随机序列，v（ x ）是x的函数（如 I x I, x2, xx , etc），若对任何使Ev（x ）存在的函数v，概率为一地有 （or依概率1）tEv（x ） = lim v（x ） t N T8 N

30、=1 t+j 则称x为具有遍历性的随机序列.tRemark： （U.Grenander and M. Rosenblatt ）平稳时间序列的统计 分析，郑绍谦译（1962）知：正态有理谱平稳序列一定具有遍历性. 遍历性物理意义：随机序列x的函数（连续）v（x ）也是一个 随机变量，其均值为Ev（x ），可称之为v（x ）的总体平均（即依v（x ）的 分布所求出的均值,或称相平均.）又当t 固定，而将vs” ）, j = 1,2,3,L 视为一个随机序列时，lim丄v（x ）称为v（x ）的时域平均.所谓x的N T8 Nt+jttj=1遍历性，简而言之，就是对任何函数v，v（x ）的总体平均等于

31、它的时 域平均.粗略说：意味着时的任何一个样本随j的变化所能取的值, 依随机变量 x 的 概率分布， 历经它 所能取的 各种值，tEv（x ） = lim 迓 v（x ）.tN ” Nj =1t + j 若X具有遍历性，它的线性运算也具有此性质.例1 遍历性用途取v(X )二XX，则由遍历性tt t+1r = Ex x = lim 丄芳 x x1 t t+1 N T8 Nt + j t+ 1+ jj=1这说明当N很大时上式右边平均值可作为r的近似估计值.14多维随机序列：y为-r维随机序列：对每个固定的整数值时刻t而言，y是-r维 随机向量，常记做Y 2 = ( y(1), y丄,y (r)，

32、时刻t e (-8, +8).这r个随机 序列y(1),L , y(r)相互之间有一定的统计联系.tt(1) y 的均值函数(均值)：tEY 三(Ey(1), Ey ，L , Ey( r)t 对Y而言，固定t时EY为一个r维向量(非随机的).tt(2) 方差阵、自协方差阵与互协方差函数：方差阵函数：Y = (y(1),L , y(r)ttttE(Y - EY )(Y - EY )ttt tt这是一个r阶非负定矩阵，其主对角线上的元恰是y(k)(k = 口)的 方差，而i行j列的元，则为y(i)与y(j)的互协方差.ttt为掌握Y在不同时刻取值的统计关系，定义ti 三 E(Y EY )(Y EY

33、 )ttstt ss为Y的自协方差阵函数；其主对角元素是y(k)(k =厂)的自协方差函 数，而i仃j列的兀E(y(i) Ey(i)(y(j) Ey(j)称为y与y(j)的互协方差函 ttssts数.当t = s时，i为Y的方差阵函数.i更进一步揭示了Y的各分量间及前后之间的相互联系. tst(3) 多维平稳序列：设Y为r维随机序列，若它还满足tEY = u; i = E(Y EY )(Y EY )t = R则称Y为r维平稳随机序列.(略)S S 宀5两种估计及参数估计的优效性概念：(1)最小二乘法(Least Square简称LS法)线性参数的最小二乘法是常用的估计方法之一，这里主要介绍 非

34、线性参数的最小二乘法(第四章将用之).考虑模型 y 二 f (P; y , y ,L , y ) + e , k 二 1,2,Lk k1 2k-1 k其中e仍表示残差，, P ,L , P )为未知参数矢量，f是 k12rk(P , y ,L , y )的函数，对P非线性，若获得了测量值y , y ,L , y，那么， 使得残差平方和1 2 nS(p)三工y f (p;y ,y ,L ,y )2k k1 2k -1k =1达到极小的解卩，即称为P的最小二乘估计，以后简称LS估计(Least Square Estimation) .Remark： 一般说来，对非线参数而言，卩的求解比线性情形要麻

35、烦得 多，且只能给出数值解法，无法得到线性参数明显解 . 此外， f 还k 可能是用迭代方式给出，而不必有明显的函数形式； 为了分析估计卩的误差情况，应当引入e和y的统计特征.假kk定e为白噪声，而且e与y ,L , y独立；作为y ,L , y的函数的最小二 kk1k 11n乘估计卩和真值P之间的接近程度可用下面介绍的几种估计量优效 性来衡量. 可见附录5 关于最小二乘估计量各种优效性质.(2)最小方差估计(Least Mean Square or简记LMS估计)(第IV、VII、IX 等章常用之)设(M -1 k N +1, N, M为整数or正、负无穷)是一组正态随 k机变量，且它们的均

36、值都是0.又设正态随机变量z的均值亦为0， 且z与的联合分布也是正态分布所谓根据(M -1 k N +1)对z kk做的(或z关于的)LMS估计$是指存在如下的量：$ = p w其kk k中系数p使误差方差E(z-$)2达到极小，即kE(z - $)2 = inf E(z 一迓 a )2nk kkk=m我们把这种估计记为$ = E(z | o ,M -1 k N +1) k最有用的情况是：每一 可以表成白噪声a (M-1 j k)的和 kj二工2 a ( I)，同时每一 a .也能表成o (M -1 l j)之和，即 kkj jjlj=Ma = E q o (II)jjl l且其中系数满足如下

37、条件：|2 | g e-g2(k-j), |q | g e-g2( j-l)(III)kj12jl12此处g, g表示与k, j, /无关的正实数.(上述条件当M,N为有穷整数时易满足(E.P.Box时序分析: 预测与控制 P138-149)当M 时，由P49 52和附录中将会有，若o是 4952 k 甲(B)x 乂(B)a的平稳解，则上述条件满足(LMS估计)对于这样的o，随机变量Z的最小方差估计形式简便，易于讨k三 y I y =另卩a ,卩为实数，迓0 2 0 j j jjj =Mj=M三 y I y = E a w ,a 为实数，迓a 2 0 l l ll与w出发讨论LMS估计的性质.

38、论它们的性质. k从A1 A = W当M,N都为有穷时，显然.我们只对M =-0,N = +0情形给予证明.若y e A，则3-串0使得艺0 2 0且y =艺0 a，由上述讨论知：jjj jl =-0j =-0y = E 0 E q w = E (E 0 q ) w = E a wjjl lj jl ll lj=-0l=-0l=-0 j=ll=-0其中a =无0耳，由(III)及Schwarz不等式知：lj jlj=lE0 az = E0 E0 0 0 q q E0 E0 I0 0 Ig2e-g2( j-l+k-l)lj k jl klj k 1l=-0l=-0 j,k=ll=-0 j,k=l

39、m=l E E | 0 0|)g 2 e-g2 (m+n) ( E 0 2)(+)2 0n=k-lm+l n+l1l 1- e-gm,n=0 l=-0l=-0(EI 0 II 0 I (E 02 )1/2(E 02 )1/2m +ln +lm+ln +ll =-0l =-0l =-0y i y i )e-g?m 二, e-g?n 二)1 e - g?1 e - g?m 0n 0因此yeW , y是A的任意元.W二A，同理W UA ,.A =W .利 用 泛 函 分 析 知 识 ： A W 是 Hilbert 空 间 ( 估 计 量 Z = E(z I w ,M -1 k N +1)是z在W上的

40、投影也是在A上投影 k Z 三 E(z IW ) = E(z IA )2. Z eW为z的最小方差估计(LMS估计)o对Vy eW，必有 E (z - z) y = 0.首先注意，由性质1，Vy eW可表为y=迓 B a，且 jjj My B 2Ey2 = c2y B2“ n ”(反证法)设z 是Z 的 LMS 估计,ja jj Mj M而且3y eW使E(z-z)y丰0.那么显然成立0 Ey2 s(y丰0).由最小方 差性质，对VB e R有E(z - $)2 2 B E (z - $) y 取B E:- f)y丰0-便导致1 2.这与实 数理论相矛盾，.Vy eW必有E(z - $)y =

41、 0这与$ e W为z之最小方差估 计矛盾.另证：令 a =( z - $, y ) = E (z - $) y, 0 Ey 2贝 UE(z ($+- y)2 =E(z$)2 + a Ey2 2 E(z $) y = E( z$)2 -E(z-z$)2 这就证明了 $是LMS估计.又可注意，上式不等号当且仅当z* = $时 才取等号，$中唯一的.3za )a ，jjb 2aj Ma 为白噪声. 易算出： j在性质2的充分性证明过程得到.现证存在性：令$ =丄迓(e0 E(z - $)2 = Ez2 - 2Ezz$ +Ez2 - y (Eza )2 / b 2jaj M. (Eza心)2 Ez2

42、/s 5 “(利用上述不等式且Q z为正态随机变量)j aaj=M从而$ =z逻ja =另a a中区2 0 ， limP |P-0|J= 0 ，其中 N s|0| = maxl 0 1,1 0 |,L ,|卩|是0的范数(或称模量)，这时我们称p为0 的相容估计.23优效性与渐近优效性：在相当一般的条件限制下，特别当限 于讨论正态随机序列时，经典统计中的Cramer-Rao不等式仍成立， 即有E (P-0 )(0-0)宀个0)三 E (咛幣)-1其中p y ,y ,L ,y的联合概率密度，J-1(0 )称为Cramer-Rao下界，这 一公式我们将崔附录4中证明(P308 327).若估计量0

43、能使上式等号成立，即E (P-0 )(0-0 )t= J-1(0)N则称p为优效估计，若估计量0只能成立极限关系式lim J2(0)E(0-0)(P-0)t J1 (0) = IN -g NN其中I表示单位矩阵，则称0为渐近优效估计.4.渐近正态性：若存在一个矩阵列B，当N Tg时，B Bt的NN N主对角线都无限地增大，而且使得B (0-0)的联合分布f收敛于正NN态分布N(0,I)，则称0具有渐近正态性，简单地用B (0-0) N (0, I)表N示.5.优效渐近正态性，若p具有渐近正态性，而且其中的B满足Nlim B J-i(p )Bt = I则称p具有优效渐近正态性，即J 2( P )

44、(P -p) N (0,1). 例 正态 AR( p,0) 序列参数J-1(p)=NN N N(Mp10r0r1Lrp-10、2g 4丿LLLLr )p-1rP-2Lr丿0d log p d log pd 2 log par1r0Lrp-2J 三E (-) = -Enb Qp。卩。卩十P是y的似然函数.Remark :随机序列的参数估计与经典统计有一点本质性的差 别，经典统计中，样本y , y ,L , y常是相互独立同分布的随机变量， 而参数p只是这一相同的分布中所含的未知参数(如正态分布的均 值方差). 在这里， y , y ,L , y 是随机序列的一段样本，它们一般不 是相互独立的，而参数p是这些随机变量的联合分布中的未知参数 (如自回归序列的系数).估计量的渐近优效性和优效渐近正态性的渐近法则是不相同 的,前者要求E(p-卩)(卩-卩)t与J-i(p)渐近相同，由于J-1(p)是估计误NN差(p-p)的方差阵的下界，因此，渐近优效性又可以叫做渐近最小 方差性.而后者只要要求Jt(p -p)的分布f与正态分布N(0,I)渐近NN相等或说(p-p)的分布与N(0, J-i(p )渐近相等，这里并不要求(p-p) N的方差阵的收敛性.(H.Cramer曾弄错二者之间关系) 具体使用参数估计方法时，我们总希望估计量能具有上述的 各种优效性质，即这些性质是检验估计优劣的重要标准.