第六章_点估计

《第六章_点估计》由会员分享，可在线阅读，更多相关《第六章_点估计（22页珍藏版）》请在装配图网上搜索。

1、第六章点估计一、内容要点与要求1. 本章重点概括本章要求学生正确理解参数点估计的概念。掌握矩估计法，明确其实 质是用样本矩来替换总体矩，即皮尔逊替换原则。掌握极大似然估计法， 明确其基本思想是选取估计量，使得该样本发生的可能性最大，能熟练地 求出某些常见分布中未知参数的极大似然估计量。掌握关于判别估计量优 良性的一致性、无偏性、有效性这三个准则，并能熟练地加以运用。掌握 罗-克拉美(Rao-Cramer)不等式的条件、结论，能求一些常见分布中未知参 数的无偏估计量之方差的罗-克拉美下界，会求一些常见分布中未知参数的 有效估计，或会证明某於是9的有效估计。掌握充分统计量的概念和奈曼 (Neyma

2、n) 因子分解定理，并会加以应用。点估计方法一般有两种，一种为矩估计法，一种为极大似然估计法。 矩估计法比较直观，对任何总体都适用，方法简单，但需要保证总体的相 应的矩存在，若不存在就不能用矩估计的方法。而极大似然估计对任何总 体也都适用，从它得到估计量一般有有效性，并且常常具有无偏性，即使 不具有无偏性，也可以修正偏差使估计值与待估计参数的真实值充分接近。 极大似然估计法的缺点是往往要解一个似然方程，而这个方程在有些情况 下是很难解的。在分析估计量的好坏时，应首先考虑一致性，即看估计量是否依概率 收敛于所估计的参数，不具备一致性的估计量我们一般是不予考虑的。估 计量是一个随机变量，对于不同的

3、样本值，一般给出参数不同的估计值， 因而在考虑估计量的优劣时，应该从某种整体性能去衡量，而不能看它在 个别样本之下表现如何。一般来说，矩估计和极大似然估计都不一定是无偏估计。无偏估计要求估计量的数学期望等于待估参数，但无偏估计不一定是有效估计，如正 态总体期望的估计量n二Y kx，其中 k = 1是无偏估计，但只有当i i ii=1i=11k. = 一，n =1,2,n时，卩才是有效估计。in由于统计量很多，那么怎样的统计量才是最佳的呢？直观的想法是， 一方面要尽可能的简单，另一方面又要能提供样本所含的“全部信息”，由 此引出了充分统计量的定义。直接从定义出发判断一个统计量是不是充分 统计量有

4、时很困难，奈曼给出了一个较为方便的因子分解定理。2. 基本概念1) 点估计设总体x的分布已知，e是待估参数。x ,x，,x为来自该总体一12n个样本，若X , X ,X构造一个统计量(X , X，,X )，并12n12n用。估计e，则称。是e的估计量。2) 一致性若e是e的估计量，如果对于任意 0，总有limPp-e s = 1，ns则称e为e的一致估计量。3) 无偏性若未知参数e的估计量满足e(0)=e则称e具有无偏性，并称e是e的无偏估计量。4) 渐近无偏性若未知参数e的一个估计e有偏，但当n * 时，E(6) T0,则称6为6的渐近无偏估计量。5) 有效性若6和6都是6的无偏估计量，且D

5、(6 ) 0与6 无关；6f (x； 6)(b) g (6 )与一存在，且对一切6 e0，006羽 /(x;6 )dx-!0f0Pdx, x ) f ( x ;6 ) f ( x ;6 ) dx dxn 1n 1 ndx dx1nH f (x ；6)i-i=10(c)令 I (6) = E6称为信息量，则 g (6 ) 2d n 兰丄6nI (6)这个不等式称为罗一克拉美不等式。罗一克拉美不等式指出，在样本容量 n 给定时， g(6 )的无偏估计的方差不可能无限的小，它有一个下界g (& 护nI (0)称这个下界为C - R下界。7) 有效估计1log f (X ;0) 2 、 d0)若0的一

6、个无偏估计0使罗一克拉美不等式中等式D (0)二一nE成立，则称0为0的有效估计。8) 有效率若0是0的一个无偏估计，且罗一克拉美不等式下界存在，则称D(0) 与 nI (0 ) 的比1nI (0) e =D(0 )为估计0的有效率。9) 充分统计量设X ,X，,X是取自总体X的一个样本，Xf (x;0 )，设12n“二u (X1, X 2,是一个统计量，有概率密度g ( y；0 )若=h(x，x )1nf (x ；0)f (x ;0)1ngu(x x );01n成立，且每当u(xr ，xn )取一固定值时，二J发生条件下的条件概率函数hq，xn )不依赖于0，则称耳为0的一个充分统计量。3.

7、 基本方法、定理1) 矩估计法由于总体分布中的未知参数往往是总体 X 的一些原点矩或原点矩的函数，所以矩估计方法的主要思想就是用样本的各阶原点矩去估计相应的总体的各阶原点矩。求0的矩估计量的步骤如下：(1) 求出总体的前k阶原点矩(用参数，表示)12kv = E(Xi) = v (0 , )， / = 1,2,kll1k(2) 从这k个方程中解出 , ,12k = h (v，v )， / = 1,2,，kl l 1 k(3) 用X7替换上述方程中的v，/ = 1,2,k，则得到的矩估计：ll = h (X ,X )， / = 1,2,kl l 1k不难看出，只要参数 ,，,可用原点矩疋,可,帀

8、)表示，1 2k1 2k则矩法估计就能进行，无须知道总体分布。2) 极大似然估计法(1) 总体为离散型。设总体X的分布律为P(X = a ) = p(a)， i = 1,2,e 0ii其中 为未知参数。 X , X , X 为 X 的一个样本，其观测值为 x ,1 2 n 1X ,X，每个x取a ,a，中的某个值，则似然函数为2ni 12L()=打 p(x ,)ii=1选取作为的估计，使L () = max L ()e0则称 即为 极大似然估计。(2) 总体为连续型。设总体X的概率密度函数为f (x； )，其中是总体的未知参数， X , X , X 为 X 的一个样本，其观测值为 x ,x ,

9、1 2 n 1 2x 。求 的最大似然估计量的步骤如下：写出似然函数l(o)=Hf (x, o)其中l(o)为e的函数ii=l(2) 对似然函数取对数In L =区In f (x ,0)ii=l(3) 建立并求解似然方程 d L = 0do求得似然函数的驻点后，确定其最大值0,则0即为o的极大似然估计量。3)奈曼(Neyman)因子分解定理设X , X，,X是取自总体X的一个样本，Xf (x；0 ), 0 e 0 ,l 2n则统计量耳二u(X , X，,X )是一个充分统计量的充要条件是存在两个l 2n非负函数K和K，使得等式l2f (x ;0)f (x ;0)二K u(x ,x )K (x

10、,x )lnl l n 2 l n成立，并且当耳二u(x ,x ,，x )取一定值时，函数K (x ,x )不依赖l 2 n2 l n于0 。3. 一些说明l) 关于极大似然估计极大似然估计的统计思想是：一次观测样本X , X ,，X得样本观l 2n测值x , x ,x ,由概率意义知道，X , X，X取x , x ,x的概率l 2nl 2n l 2n较大，极大似然估计就是通过样本值x , x，,x求得总体X的分布参l 2n数，使得X , X ,，X取x , x ,x的概率最大。在用极大似然估计l 2n l 2n法，应注意一下问题：(1)若总体X含有多个未知参数0 ,0，,0时，似然函数L就为

11、m元函 数，似然方程就是方程组：i = 1,2,m皿=0 ao求出最大值点0,0，,0，即为o ,o，,ol 2 ml 2 mi利用多元函数求极值的方法的极大似然估计量。(2)并不是对所有的似然函数都可求解似然方程d ln Ld0的方法解出极大似然估计量。例如求均匀分布的未知参数0的极大似然估计量，设其概率密度为0 x 0 , X ,X ,X是来自X的样本，则01 2 n的矩估计量为;极大似然估计量为.(2) 设射手的命中率为p，在向同一目标的80次射击中，命中75次,则P的极大似然估计值为 .f(a +1) x a 0 x 1(3) 设总体Xf (x；a) = 1，X , X，X是0其它12

12、 n来自X的样本，则0的极大似然估计量为 .解(1)2X ； max(X ,X ).因为1n0 10入一EX = N x dx =-，则有0 = 2EX，故0的矩估计量为0 = 2X ；0 02而似然函数为L(0) = 0 -n 0 x 0，有八八八D0P(l 0-0 1) = P(l 0 - E0 1) 0，有limPl- Yx -卩 l8 = 1,nT8nii=1所以X =丄YXnii=1又 1Y (X - X)2nii=1是卩的一致估计量.依概率收敛于 EX 2，=-工X2 - (X)2，其中由大数定律知-Y X2 n in ii=1i=1从而丄工(X - X)2依概率收敛于EX2 -

13、(EX)2 nii=1i =1n1又lim = 1，所以S 2 =n* n 1n 1Y (X - X )2是b 2的一致估计量. i例 3 设总体 X 的概率密度为f (叫6 2)= 11620x g 6 ,6 +6 11其它求参数61和62的矩估计.解 矩法估计是点估计的一种 ，它是将含样本的某阶 矩相应的替代 对应总体的某阶矩，从而可以得到一个包含待估参数6 ,6和样本X,1 2 1 x的方程，从此方程中就可以解出6 ,6并将其作为未知参数的估计量.n12在本例中，参数6 和6 并不是总体分布的矩，但它们与总体的原点矩 12中心矩有如下关系：EX=Qi +62 X -61EX 2=們+61

14、dx = 6 2 +6 6611 262+ 2DX = EX 2 (EX )2 = 12由此可解得：0二EX -込DX, 0 = 2込DX，1 2我们以样本矩代替总体矩，即取EX = X, DX = S2,得到0和0的矩估计量为0 = X -.3S,0 = 2.；3S .1 2 1 2例4设总体X的概率密度为f (x;a,b)= 0,其它就能使L(a,b)在a, b处达到最大值，它们就是a和b的极大似然估计.例5设总体X的概率密度为f (x;0) = 00X，,X是来自总体X的样本，令0 = ：max(X ,X ,X ),1 n141230 = 4min(X ,X ,X )为0的估计，问哪一个

15、较好？2123解令 g = max( X , X , X )，n = min( X , X , X )，则123123g的分布函数为3,0 x e，3x2概率密度为fg(x) = 7耳的分布函数为3,o x e，概率密度为f(x)蔦i则 EO1 = 4 Eg= 31 ：x -沪”3xE0 = 4En = 4x-(1 - )2dx = e ,2 0 e e故-和I都是。的无偏估计.16DO = E(0 EO )2 = E(g- Eg)2111916e3 e3x21e= (x- e)2 - dx = e 2904e 315do 二 e(e - eg )2 二 16e(n- En)22 2 2-16

16、Je(x - e)2 e(1-e)2dx - e 204 e e 5故知DO 0， X , X ,X是来自X的样本，1 2 n在例1(1)中已经得到O的两个估计e = 2X及e = max(X ,X )，试1 2 1 n比较两者的无偏性与有效性.0解(1)因为E(0” = E(2X) = 2- =0故0是0的无偏估计.为求max（ X，,X ）的数学期望，先求它的概率密度. 1n记 Z = max( X ,X )，f (z) = nF (z)”1 f (z)1nZXX于是啊,* J X嗚)“ 0 dx可见m珈X1，,Xn ）不是0的无偏估计，但修正估计量n +1max（ X，X ）则是0的无偏

17、估计.n1n0 2(2) D(0 ) = D(2X) = 4 =1 0 23nE(0 )2 = EmaX X，,X )22x 2 嗚)-10 dx =隹0 2112 nD J =n 0 2 - ( n 0)2 =n0 2n+ 2n+1(n+1)2(n+ 2)显见D（0 ） 0,0 0 ,CXr-ie 0f (X；0)彳 0 rr(r)0XX , X ,X是来自X的样本，若参数r已知，0未知，试证一是0的1 2 n r UMVUE .X证 因为由矩法估计知E() =0，所以它是0的无偏估计.rln f (x;0) = -lnr(r) -r In 0 + In xr-1 一 0,x0Q In f

18、(x;0)00rx+ -0 0 2则 I (0) = EX 22rX r 2 +0 40 30 2r0 2 + r 20 22r 20r 2 r + =0 40 30 20 2因此C-R下界为 ，rn1 DXr2 n02rn所以一是0的UMVUE . r例8*设X ,X是独立同分布的随机变量，都服从几何分布 1nf (x;0) =0(1-0)x x = 0,1,2, 0 0 1则T = Y X是0的充分统计量.nii=1证由于X，,X的联合概率密度为1nxf(x,x ) =0n(1 -0)iJx = 0,1,2,1 ni取k =9n(1 -9)-x , k = 1，则由奈曼因子分解定理知，T

19、= Y X是12nii=19 的充分统计量.I三、自我检测题I1. 填空题(1) 设总体 X 具有几何分布，分布列为P(X = k) = (1 - p)k- p, k = 1,2,，其中 0 p 1)总体X的样12n本，则未知参数9的矩估计9八的方差D9 = .(4) 设9，9是9的2个独立的无偏估计量，且假定D (9 ) = 2 D (9 )，1 2 1 2令9= c 9 + c 9，若9为9的无偏估计，又使D (9)达到最小值，则c = _1 1 2 2 1； c2 = 2. 选择题(1)设9为9的无偏估计，且lim D9n - 1=0，贝9 ().n TanA.是9 的无偏估计 ；B.

20、是9 的一致估计 ；C.是9 的有效估计；D. 以上均不正确(2)设总体XN(卩Q2),卩已知，(X ,X，X )是来自X的样12n本，则b 2的有效估计量为().A. & 2 二(X -卩)2 ；C. 6 2 =丄工(X - X)2 .n -1ii=1B. 6 2 = 1 (X -H)2；nii=1D. 2 = 1 工 (X - X)2nii=1子样X，,X来自总体X , EX =卩,DX = 6 2，则()可 1n以作为6 2的无偏估计.A. 卩已知时，统计量工(X 卩)2 /n ；ii=1B. 卩已知时，统计量工(X 一卩)2/(n 1)；ii=1C. 卩未知时，统计量工(X 卩)2 /

21、n ；ii=1D. 卩未知时，统计量工(X 卩)2/(n 1)ii=13设总体 X 的概率密度为f(x)=0 c 0 x(0+1)0x c其它其中c 0已知，0 1未知，X，,X是来自总体X的样本，试分别用 1n矩法估计和极大似然估计求0 的估计量 .3 x 2c0 x 0,0 04.设总体X的概率密度f (x;0) = 0 3，X , X是120 其它来自总体 X 的样本，试证：27(1)人=(X + X2),T2 = max(X,X2)都是0 的无偏估计;1 3 1 2 2 6 1 2教辅(2)在形为T = Cmax( X , X )的估计中，T最有效 c12875.若总体X N(0,b

22、2) , X，,X是来自总体X的样本，令1n& 2 =丄Y g 2 ,证明：& 2是Q2的一致估计.ini=16.设X，,X是独立同分布的随机变量，都服从参数为九的普哇松1n分布，则T = Y X是九的充分统计量.nii=1自检题答案或提示1. 填空题 (1) 1/ X ;1/ X ； (2) 2X ; X(n)(4) 1/3；2/32. 选择题 (1)B； (2) B; (3) A入X3.矩估计0 =君；极大似然估计0 l =:Y In X - n In cii=14.( 1)因为 ET1 = 0， ET2 = 027所以T =；(X + X ),T =：max( X ,X )都是01 3 1 2 2 6 1 2的无偏估计3C20 28DTC = 19T最小=C =刁5.因为 Eb 2 =b 2, Db 2 = 2b 0, nn所以b2是。2的一致估计.教辅6. X ,，X的联合概率密度为1nxii=1r()九 i=1 e-乐f (x，x )=1nnrfx = 0,1,2,ix!ii=1刀(取 ki 八 Je e-f , k 2-i，则由奈曼因子分解定理知，T = X是九的充分统计量. -ii=1