第二章 多元正态分布及参数的估计

《第二章 多元正态分布及参数的估计》由会员分享，可在线阅读，更多相关《第二章 多元正态分布及参数的估计（34页珍藏版）》请在装配图网上搜索。

1、第二章多元正态分布及参数的估计在多元统计分析中，多元正态分布占有相当重要的地位.这是因 为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分 布;当样本量很大时，许多统计量的极限分布往往和正态分布有关;此 外，对多元正态分布，理论与实践都比较成熟，已有一整套行之有效的 统计推断方法.基于这些理由，我们在介绍多元统计分析的种种具体 方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参 数的估计问题.目录2.1随机向量2.2多元正态分布的定义与基本性质2.3条件分布和独立性2.4多元正态分布的参数估计 2.1随机向量本课程所讨论的是多变量总体.把p个随机变量放在一起得 X=(X1,X

2、2,Xp)为一个p维随机向量，如果同时对p维总体进行一 次观测，得一个样品为p维数据.常把n个样品排成一个nXp矩阵, 称为样本资料阵.X11X21X12X22X1 pX2p(X：def X #=(2)Xn1Xn2=(X 1,其中x(i)(i=1,n)是来自p维总体的一个样品.在多元统计分析中涉及到的都是随机向量，或是多个随机向量放 在一起组成的随机矩阵.本节有关随机向量的一些概念(联合分布，边缘分布，条件分布， 独立性;X的均值向量,X的协差阵和相关阵,X与Y的协差阵)要求大 家自已复习.三、均值向量和协方差阵的性质(1) 设X,Y为随机向量,A, B为常数阵，则E(AX)=AE(X),E(

3、AXB)=AE(X)BD(AX)=AD(X)ACOV(AX,BY)=ACOV(X,Y)B(2) 若X,Y相互独立，则COV(X,Y)=O;反之不成立.若COV(X,Y)=O,我们称X与Y不相关.故有:两随机向量若相互独立,则必不相关；两随机向量若不相关，则未必相互独立.（3）随机向量X二（X1,X2,，Xp）的协差阵D（X） =1是对称非负 定阵.即Z二切，a EaNO （a为任给的p维常量）.（4）N=L2 ,其中L为非负定阵.由于Z NO （非负定），利用线性代数中实对称阵的对角化定理，存 在正交阵匚使其中,当矩阵0 （正定）时，矩阵L也称为S的平方根矩阵，记为/当矩阵s 0（正定）时，必

4、有P X p非退化矩阵A使得Z=AAz其中n o（非负定），必有x q矩阵A使得1其中这里记r=（ri2） ,1为pXq列正交阵（p N q）.并设:人.0(i = 1,q),人=0,，人=0.2.2多元正态分布的定义在一元统计中，若UN(0,1)，则U的任意线性变换X=oU+u N(u,b 2)。利用这一性质，可以从标准正态分布来定义一般正态分 布：若UN(0,1),则称X=oU+u的分布为一般正态分布，记为X N(u, b2)O此定义中，不必要求。0,当。退化为0时仍有意义。把这种新 的定义方式推广到多元情况，可得出多元正态分布的第一种定义。定义2.2. 1设U=(,Uq)，为随机向量，u

5、 1，-,Uq相互独立 且同N(0，1)分布；设u为p维常数向量，A为pXq常数矩阵，则称 X=AU + u的分布为p维正态分布，或称X为p维正态随机向量，记 为 X Np(u, AA ) o简单地说，称q个相互独立的标准正态随机变量的一些线性组合 构成的随机向量的分布为多元正态分布。 2.2多元正态分布的性质1在一元统计中，若X - N(u,b 2)，则X的特征函数为一，、一 、.1_ 1中(t) = E (e itx ) = exp itu - 一12b 2 .218_ ( X 一)2中(t ) = E ( e itx ) = j e itx e 2 b 2 dx-8” = (x-P)/b

6、18 2j e U + 口)e 2 duoo= e it M-100-j_L_ e _ 2(U -讶 b)2 e , q)2 血7100=expi11(2b2 1 X1001勺j e 两 du21J2兀00=expi11Tt 2。2M 2 _ 2 z7 a M + ( CT)2 2当 XN(0, 1)时，巾(t)=exp -r2 /2.性质1设U二(，U如 为随机向量，u,，Uq相互1 1独立且同N(0, 1)分布；令X=u+AU,则X的特征函数为exp i t这里t二。，)，故中X(t)为p元函数.ip性质1的证明：根据随机向量特征函数的定义和性质，经计算即可得出X的特征= exp(令 A=

7、su ) - E ( e i t au函数为中X(t)= E(eiVX)= E(eit (AU+n)exp(exp(i t ) E ( e z( w i + i t r ) - E ( e 弟 i i x (因U1,%相互独立，乘积的期望等于期望的乘积)=exp( i t 5 ) - E ( e is 1 u 1 ) xX E ( e is qU q )= exp( i t % ) . n q exp( - s 2 ).厂 jj = 1=exp(+ s ：)=exp( i t，日-一 s s ) = exp(，1，、it 日-tA A t)22.2多元正态分布的第二种定义记=AA，则有以下定义

8、。定义2.2.2若p维随机向量X的特征函数为:中 x ( t ) = expit J - ( 0 )则称X服从p维正态分布，记为XNp(u,).元正态：(p=1)(t )= exp.t 。2 t12。2It u - =expitu -222.2多元正态分布的性质2性质2 设XNp(u,), B为sXp常数阵，d为sX 1常 向量，令 Z=BX+d 则 ZNs(Bu+d , BNB，).该性质指出正态随机向量的任意线性组合仍为正态分布.证明：因 N0, 可分解为=AA，其中A为pXq矩阵.已知XNp( m , ),由定义2. 2. 1可知X = AU+ u (d表示两边 的随机向量服从相同的分布

9、.)其中iMu ,，Uq)；且，Uq相互独立同N(0, 1)分布。 1 1Z=BX+d = B (AU+ n) +d =(BA) U+(B n +d)由定义2.2. 1可知Z Ns (B n +d, (BA) (BA)，),即 Z Ns(Bn+d, BSB9.(这里 =AAQ.推论 设X二x丫Np(n,N),将Li, 剖分为 X11p-r21 )1222 7XN (侃， / ?r11X Np-r(l s),rU (2)? 22证明：取方二rx p维向量由性质2可得:X (1)类似地取 B 2(P-r) X尸维向量d 2 =。，则此推论指出，多元正态分布的边缘分布仍为正态分布。但反之， 若随机向

10、量的任何边缘分布均为正态分布，也不一定能导出该随机向量服从多元正态分布.如例2.1.1,证明了 X , X均为一元正态分布，但由(X , X )联合 密度函数的形式易见它不是二元正态.例2.1.1 (X 1, X2)的联合密度函数为111 Zf (X , X ) = e - 2( x 12 +x 2)1 + XX e - 2( x i2 + x 2)122 兀12我们从后面将给出的正态随机向量的联合密度函数的形式可知，(X , X )不是二元正态随机向量.但通过计算边缘分布可得出：X 1 N(0,1), X 2 N (0,1)这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机

11、向量服从多元正态分布.例如:设三维随机向量X=(x 1, X2,则有2X 2 )3 7X N(2,1),1X ),且3r2)r 110，0,1200 JL003 J)，23，(2)(r 0)r 2 2(l0 JI 0BXr 001V 1由性质2知,Y为3维正态随机向量，且r 0 1 0)r 2)r 0)= B =0 0 10=0yxV1 0 0 J0VJ2VJ =:B B，yzX 、r 010)r 110)r 0 01)r 12 0)r 0 01)=0 011 2 01 0 0=0 0 310 0V10 0 JV 0 0 3 JV10 JV1 1 0JV10 J=10 0 01、 /1 O 1

12、0 3 02 0 1,、 /0 0 2设z = 2X -X + 3X，试求随机变量Z的分布.Z = 2X1 -X2 + 3X3 = (2,-1,3) X=CX故有：0)r 2)0-13 JV 3 J120(1,0 ,9 )r-21、V3J=C C =(2, - 1,3)I=29所以Z N(4,29).性质 3 若 XNp3, S),E(X)=u,D(X) = Z.证明：因N0,可分解为：=AA，则由定义2.2. 1可知X = AU+m (A为pXq实矩阵)其中U=( u ,，u )，且U,，u相互独立同N(0, 1) 分布，故有 E(U )=0, D(U )=Iq .利用均值向量和协差阵的有关

13、性质可得：E ( X ) = E ( AU + P ) = AE (U ) + p = p , D ( X ) = D ( AU + P ) = D ( AU ) = AI A = 此性质给出多元正态分布中参数m和的明确统计意义.m是随 机向量X的均值向量，是随机向量X的协差阵。如简单例子中，由性质2知Z服从正态分布，利用性质3,p 二 E (Z )= E (CX )二 C P = 4 , = D (Z )= D (CX )= C C，=b 二二 29 性质4设X=(X1,XD为p维随机向量，则X服从p维正态 分布。对任一 P维实向量a, E=a X是一维正态随机变量.证明：必要性的证明由性质

14、2即得(只须取B=a，,d=0即可).充分性的证明：首先说明随机向量X的均值和协方差阵 存在:因对任给p维实向量tRp, E=t，X一元正态分 布，可知&的各阶矩存在，如取t二二(0,，1,0), X 二 X,且 E( X ) (i=1,2，,p)存在，E( X.2 ) (i=1,2，,p)也存在.再比如取t =(0,，1,0,T,.,0)&二 t X= x + X ，且 E(E )=E( x + x ) (i,j=1,2，,p)存在.E(&2) =E(X. + X.)2 二 E( x.2 ) + 2E( xx )+ E( x.2 )也存在，艮 P E( xx ) (i,j=1,2，,p) 存

15、在.故 E( x ),Cov( x, X. )=E( x X )-E( x. ) E( x) (i,j=1,p)存在.记 E(X) = u, D(X) = Z. 计算&的特征函数：对任意给定的tE Rp，因随机变量&二t X服从N(tm,t， t).,故知&的特征函数为中& (0)=E( e 览)=expi 9(tu) -0 2 (t t)/2 计算随机向量X的特征函数：在&的特征函数中，取。二1，即得中 & =E( e )=E( e t X)=X(t) = exp it u- t t / 2 由定义2.2.2可知，XNp(u,).定义2.2.3若p维随机向量X的任意线性组合均服从一元正态分布

16、，则称X为p维正态随机向量.在概率论中大家都知道一元正态随机变量的密度函数是1( X - ) 2f ( x ) =e 2 b 2(b 0 )j2 兀 这个式子可改写为：11 ,、，/、/(x) =exp (% - 口)(b 2)-1(% 口)(2兀)12 b 2 12L 2_作为一元正态随机变量的推广，以下性质来导出多元正态随机向 量的联合密度函数.性质5设XNp（u, ）,且0 （正定），则X的联合密度函数 为1，、，、f(x) = (2兀)而2 Nexp1 exp 2 兀 U2（% -日）（）-1（ % -日）1 ，、，、2（ % -目）（ ） -1 （% -目）证明 因0,rk（）=p,

17、由线性代数的知识知存在非奇异方阵A,使得=AA，且X = AU+u其中U二（七,，且U1，-, Up相互独立同N（0, 1）分 布。U的联合密度函数（p元函数）为1f ()=expU(2兀)一/2 利用u的联合密度函数及随机向量的变换求X=Alt!的 密度函数。对任给Borel可测集B,求P元函数fX(x)使得P X e B BP U e D =其中服u = A-i (x-ux g B根据附录8 (P397)公式(8. 4),即有u = A-1(X - |L1 )PX e 5 = ff / (u)duu=ff f (A -i (x - |L1) J (u x)dx u=f (x)dxXB以下来

18、求Jacobi行列式J(u-x). 积分变换的Jacobi行列式J(u-x)可利用线性变换x二Au+ u及J (xu)来计算：因J (xdxi air-1 .dxi dirpdxpdu-1 .dxpdu=Af = AA i/2 = V2+J u X )= -1/2关于积分变换的Jacobi行列式J(u-X)的有关内容请参阅附录部分。写出X二AU+u的密度函数：、 1f (x) = s 、 expX(2兀)“21 ,-U U21 1 exp - A-i(x - |i)A-i(x - )1) S (271 )p/2_2J1 1 , 一 exp 一(x - |LI)，t(x |li) (2兀)/2

19、1/2 L 2_(这里 s=AAz , t = (AA，)-1 = ( A -i )r A -i )定义2. 2.4 p维随机向量X=(x,x Xp)的联合密度函数为12f (x)二exp(2兀)p/2 121 ,_( X - P ) -1( x - P )其中u是p维实向量，是p阶正定阵，则称X=(X1, x2Xp )服 从(非退化的)p元正态分布.也称X为p维正态随机向量,简记为XNp(u, ).以上给出了多元正态分布的4种定义。定义2.2.4用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定义里要求 是正定阵，它给出的是非退化的正态分布的定义。另三种定义中把 阵推广到非负定的

20、情形，这三种定义是等价的。),例221(二元正态分布)N 2(b,b 11V 21b12 b 22 /b 21Vpb 1b 2Pb21b 22/p | 0, b 2 0,(1)试写出X的联合密度函数和边际密度函数;(2)试说明p的统计意义。解：(1)因b 2 b 2 (1 - p12Pb bb 21exp2(1 -P 2)另由性质2的推论，即得2 _b 2b 2 (1 - p 2 ) Pb b12 (11 12i- P 1b 2b b，一 c=1t pb bX 1 2二元正态随机向量X的联合密度函数为、1 1 /、，- ,、f （气,凡）=2丸 | |1/2 exp - 2 （X - 口） -

21、1（x - 口）).),X因Cov（X1 ,X2） = 12=3。1。2，而X1与X2的相关系数为Cov( X 1, X 2)P ( X , X ) = 4 1 4 2 = P 1 2 = P .12JVar( X 1) JVar( X b y 2故二元正态分布的参数P就是两个分量的相关系数.显然当p=0时，f( X , X ) = f (X ) - f (x)，即X与X相互12112212独立.当|p|=1时，|二0 (退化，即的列向量或行向量线性相关)，则存在非零向量t=(匕,七)，使得t=0,从而t t =0,故 而随机变量&二t (X-u)的方差为Vart (X-u)=t t =0,这

22、表 示 Pt (X-u)=0=1.即t ( X - u )+1 ( X - u )=0以概率1成立；反之，若X与X以11122212概率1存在线性相关关系， lj|p|=1.当P0时,我们称X 1与X2存在正相关；当PV0时,我们称X 1与X2存在负相关.例2.2.2 二元正态密度函数的图形及等高线的图形为了对多维正态密度函数有更直观地了解，下面的例子给出几组 参数下二维正态密度函数的几何图形.我们把具有等密度的点的轨迹 称为等高线(面).显然当 p=2 时f(X1,X2)=C(C0) unA 2-2p它是一族中心在(u1, u2)的椭园.一般的p维正态密度等高面为G - u ) -1 G -

23、 u )= a 2 (a 0)取U1 =0, u2 =0,以下绘制三组参数下二元正态密度函数及密度等高线图形：(1)当 号=iq 2 = 1, p= 0时(2) 当 Q 2 = 1Q 2 = 1, p= 0.75 时(3) 当 q 2 = 4,q 2 = 1, p = 一0.75 时Q 2 = 1, Q 2 = 1, p = 0q 2 = 1,q 2 = 1, p= 0.75b2 = 4q 2 =Lp=-0.752.3条件分布和独立性-独立性设XNp 3, )(p将X, H, 剖分为u (1)11211222则X（1）与X相互独立O = 0(即X(1)与X不相关)r x( pr)证明:必要性显

24、然成立.（充分性）：设12 =0，则X的联合密度函数为、1f (刘).X2)二(2)p/2| 11/2exp-1232)3) 000-22-11加)-削加)*(2) J1(冲/2| |1/2111X(2)(p-r)/2 | |1/2=f 1( X (1) X所以X与X相互独立.1 (x(1) -*(1)-1(x(1) -*(1)2 11exp 1 (x(2) - *(2) y1(x(2) *(2) 222(X (2),推论 1设r N1(i=1,，k),且r + r+.+r 二p，r p r弋 11 12 、2122以下是关于独立性的一条重要结论:定理2.3.1设p维随机向量XNp (u,)，

25、11 * (1)IM (2)X =言)11Nf以)1,一:11p X 1X (k)rkpV日（k ） k 1i k .kk则X，X（K）相互独立Oij=0（一切iNj）推论2设Xn （u,）,若为对角形矩阵，则x ,，X 互独立.例如:设三维随机向量X=（x , X,X3),且/1 1,12* 0 0则有12；X 3 N (0，3)AJ0与X相互独立因 =V 0 Jj3 J12Vf XV X 2X与X , X与X ,也相互独立；（4）2X -2X 与X也相互独立；更一般地，aX + bX与乂也相互独立;(5)令 Y = 2 X 1 - 2 X 2，则 Y - N (1,4)；且f1V 0 Y的

26、密度函数为/ 1 G = 2 exp( 2( V T)2)X的密度函数为f G）=1exp（-三二）32 3 q容 2 X3故二维随机向量z的联合密度函数为2小妨f(、 X 3)= C 6?X 2- 2( - I)2 -寸2.4多元正态分布的参数估计考虑p维正态总体XNP 3, ),设X(广(X1，, X(i = 1,n)为p维总体X的简单随机样本，资料阵/ X X XX，)11121 pV (1)X X XXX =2122.2 p-(2 ).-. . n x p、X X XX n 1n 2(n )np是一个随机矩阵.样本均值向量Xp X 11 nZni = 1X(i)(rX )，-:X-.1

27、 .、pX- pX11X12X21X 22 .X2 pXn 1)1 Xn 2.1.Xnp)11)中心化数据阵:XXXXXX1111221ppXXXXXX211.222.2pp.XXXXXXn 11n22nppJ记G= i样本离差阵A (交叉乘积阵)Xapij(xa1其中(xajp)a =1或者把A表为:PxPa =1x)XX,X X(n)GX)-11 1 X = X GX = (a )ij px pnz X(i)i = 1A = zn X一 X)Xa = 1或者把A表为:=nX=ZX (a) X (a EX (a)X a=1a=1-ZxX( ) +Zx(X) a=1a=1X(1)(1)-nX(

28、X)X(P)=X、X 一 nX X、1, 、S =A = (s )PxP n -1 ij pxp(3)样本协方差S:(1或者S * = 1AI P x P n )样本相关阵R:R = (r), r = s f = 广亡ij p x p ij Js、ds .Ja . (a .例:设从某书店随机抽取4张收据了解图书的销售情况.每张收据记录售书数量X2及总金额X1,具体数值如下:424525484583(n=4 ,p=2)试计算样本均值，样本离差阵，样本协差阵和相关阵.x = L x，i = L解：n n 4(1)(42 52 48 58)1-(5014543 )14 /1J样本离差阵A的计算公式为

29、:(42-504-41(-80 152-505-42148- 504-4)-20 58- 503 -4 J8-11 7(4)此例中，X侦X (4) - X)其中，X为中心化数据阵。(-801(-8 2 - 2 8121(136 - 610 1 0 -17-20_ 6262 78-17 故入二X X=样本协方差阵S:11 (136S二商A =3- 6样本相关阵R为:-3、768f1项36(-0.36381)H,Z的最大似然估计设x(, (i = 1,n)为p维正态总体N(u,)的随机样本，以 下用最大似然法来求参数u, 的最大似然估计.定理2.5.1设x (i = 1,，n)是多元正态总体n (

30、u,)的随八 二 1,机样本，np，则u, 的最大似然估计为u = X， = n A参数的最大似然估计有很多优良性标准，如无偏性，有效性，相合 性等.u和的最大似然估计是否具有这些好的性质呢?这是我们现 在要讨论的问题.定理2.5.2设X和A分别为p元正态总体n (u, )的样本均值 向量和样本离差阵，则_， 1T Np (u, )(2)A = t-1 Z Z ,其中 Z广(3)(4)t tt = 1X和A相互独立；P a0 = 1 o-1独立同七(心)；(证明不要求)A,或S n -1性质1：无偏性因为冬）=也（X ）= Du = u =n 1（，） n 1故X （样本均值）是U的无偏估计.

31、因 E（A） = E（1 Z Z = E（Z Z ） =LD（Z ）= （n- 1）S因（以以J以以以v i=1/ i=1i=1u 1故的最大似然估计量Z = A不是无偏估计.n1而样本协差阵S是的无偏估计：S = An 1性质2：有效性可以证明X,S是u,的“最小方差”无偏估计量，即X,S是u, 的有效估计量（见参考文献2）.性质3：相合性（一致性）可以证明当n 3时X, Z是目,Z的强相合 估计,实际上,因故X）=目，由强大数律知P lim X = u=1利用强大数律还可以证明：）P Lin Z = Z = 1性质4：其它还可以证明最大似估计量是u, 的充分统计量；X是u的极小极大估计（最大风险达最小）；且估计量具有渐近正态性.为了从参数m, 的最大似然估计来导出参数函数g（、）的 最大似然估计，下面我们来介绍一条有用的结论.定理2.5.2设参数向量。的函数为g（0） = 3,。是。的最大似然估计.则有S = g（）是3=g（。）的最大似然估计.