《矩估计的基本步骤》PPT课件.ppt

《《矩估计的基本步骤》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《矩估计的基本步骤》PPT课件.ppt（41页珍藏版）》请在装配图网上搜索。

1、矩估计的基本步骤 12, , , k 设待估计的参数为 设总体的 r阶矩 (r=1, 2, k)存在，且 12( ) ( , , , )r rkEX (1) 先找总体矩与参数之间的关系 样本 X1, X2, Xn 的 r阶矩为 1 1 n r ri i AX n 令 12 1 1 ( , , , ) , 1 , 2 , ,n r r k i i X r k n (2) 用样本矩替换总体矩 , 得到关于估计量的方程 (组 ). 含 的方程组 . 12 , , , k (3) 解方程组 , 得到 k个参数的矩估计量 1 1 2 12 ( , , , ) ( , , , ) n kn X X X X

2、 X X 未知参数 1, ,k 的 矩估计量 1 1 1 2 12 ( , , , ) ( , , , ) n k k n x x x x x x 代入一组样本值得 k 个数 : 未知参数 1, ,k 的 矩估计值 X1, X2 , , Xn 是独立同分布的 , X1k, X2k, , Xnk 也是独立同分布的 . 于是有 E(X1k)=E(X2k)= =E(Xnk)= E(Xk)=k . 根据 辛钦大数定律 , 样本 k阶矩 Ak依概率收敛于总体 k 阶矩 k ,即 1 1 ()n Pkk ik i X E X n 矩估计法的理论依据 : 大数定律 再由 依概率收敛的性质 知 , 样本 k阶

3、矩的函数依概率收敛于总体 k阶矩的函数 . (函数连续 ) 参数 的矩估计量依概率收敛于 , 即 P n 样本矩的函数 总体矩的函数 最大似然估计法的思想源于德国数学家 高斯 (Gauss) 在 1821年提出的误差理论 . 然而，这个方法常归功于英 国统计学家 费歇尔 (R.A.Fisher) .他在 1922年将该方法作 为估计方法提出，并首先研究了这种方法的一些性质 . 2. 最大似然估计 (Maximum Likelihood Estimate) Gauss Fisher 最大似然估计法的基本思想 引例： 某位同学与一位猎人 一起外出打猎 .一只野兔从 前方窜过 .只听一声枪响， 野兔

4、应声倒下 . 如果要你推测，是谁打中的 , 你会如何想呢 ? 只发一枪便打中 , 猎人命中的概率一般大于这位同学 命中的概率 . 看来这一枪是猎人射中的可能性很大 . 思想 ： 一次试验就出现的事件有较大的概率 . 例 5 设总体 X 服从 0-1分布 , 且 P X = 1 = p (0p0为未知参数 . 求 的最大似然估计值 . 1 01 ( ) 0 xxX f x 其 它 解析 3 31 1 ( ) ( , ) 9 , l n ( ) 3 l n ( 1 ) l n 9 , l n ( ) 3 3 l n 9 0 . 2 l n 3 i i L f x L dL d 最大似然估计的性质

5、该性质也称作 最大似然估计的不变性 . 若 是未知参数 的最大似然估计， g()是 的严格单 调函数，则 g()的最大似然估计为 g( ). 如 例 7中 , ,)(1 2 1 2 XX n n i i 的最大似然估计值为2 的最大似然估计值为故标准差 22 1 1 . ()n i i XX n 量 量 例 11 设总体 2 12 ( , ) , 0 .0 5 , , , . , nX N P X a x x x 为样本值 , 求 a 的最大似然估计 . 解析 首先找到 a与 的关系 . 2, 由 1 ( ) 0 . 0 5 ,aP X a 知 ( ) 0 . 9 5a 查表得 1 . 6 5

6、 , 1 . 6 5 .a a 即 22 1 1 , ( ) .n iiX X Xn 由 例 7得到 则由 最大似然估计的不变性 , 得 a的最大似然估计量和估计值分别为 2 1 2 1 1 1 .6 5 1 .6 5 ( ) , 1 1 .6 5 1 .6 5 ( ) . n i i n i i a X X X n a x x x n 【 评注 】 求总体分布中的未知参数的最大似然估计 , 必须知道总体的分布 , 从而写出样本似然函数 (或对数 似然函数 ), 并求其最大值点是解题的关键 . 另外 , 最大似然估计也可能不存在 , 也可能不唯一 . 优点 : 充分利用总体分布的信息 , 克服

7、了矩估计法的 某些不足 . 作业 : P173 习题 2, 3, 4(1), 6, 7, 8(1). 从前一节可以看到 , 对于同一个参数 , 用不同的 估计方法求出的估计量可能不相同 . 很明显 , 原则 上任何统计量都可以作为未知参数的估计量 . 问题 (1) 对于同一个参数究竟采用哪一个估计量好 ? (2) 评价估计量的标准是什么 ? 7.3 估计量的评选标准 常用标准 无偏性 相合性 有效性 问题的提出 估计量 12 ( , , , )nX X X的观察或试验的结果，估计值可能较真实的参数值偏大 或偏小，而一个好的估计量不应总是偏大或偏小，在多 次试验中所得的估计量的平均值应与真实参数

8、值吻合， 这就是无偏性所要求的 . 是一个随机变量，对一次具体 一、 无偏性 . ,)( ,)( ),( 21 的无偏估计量是 则称有且对于任意存在 的数学期望若估计量 EE XXX n 定义 . 1 , , ,)1()( 1 21 的无偏估计阶总体矩 是阶样本矩总体服从什么分布 论的一个样本，试证明不是又设 存在阶矩的设总体 k n i k ik n k k kX n Ak XXXX kXEkX 例 1 证 同分布，与因为 XXXX n, 21 )()( kki XEXE 故有 .,2,1, nik n i k ik XEnAE 1 )(1)(即 .k . 的无偏估计阶总体矩是阶样本矩故 k

9、k kAk 特别的 , . )( 1 估计量 的无偏的数学期望总是总体 XEXX 2 22 , 0 , , , . ( ) . 2 对 于 均 值 方 差 都 存 在 的 总 体 若 均 为 未 知 试 证 的 矩 估 计 量 是 有 偏 的 即 不 是 无 偏 估 计 例 证 n i i XXn 1 222 1 ,2 2 XA 22 )( AE因为 ,22 22 )()()( XEXDXE 又因为 ,2 2 n )()( 222 XAEE 所以 )()( 22 XEAE ,1 22 nn . 2 是有偏的所以 . , 1 2 偏的所得到的估计量就是无乘若以 n n (这种方法称为 无偏化 )

10、. .)(11 222 En nn nE 22 1 Sn n 因为 ,)(11 1 2 n i i XXn 22 ,S 即 是 的 无 偏 估 计 22 .S 故 通 常 取 作 的 估 计 量 . ), m i n (, , 0, .,0 ,0,e 1 );( , 21 21 的无偏估计 都是和试证样本 的是来自总体又设其中参数 其他 概率密度的指数分布服从参数为设总体 n n x XXXnnZX XXXX x xf X 例 3 证 )( XE因为 ,)( XE . 的无偏估计量是所以 X , ),m i n( 21 的指数分布服从参数为而 nXXXZ n .,0 ,0,e );(mi n

11、其他 概率密度 x n xf nx ,)( nZE 故知 ( ) .E n Z 由以上两例可知 , 一个参数可以有不同的无偏估计量 . 思考 :当 是 的无偏估计时 , 是否也为 ()g ()g 的无偏估计 ? 答 : 不一定 . 例如 : 2 2 2 2 2( ) ( ) .E X D X E X n 样本均值 是总体均值 的无偏估计 , 但 不是 的无偏估计 . X 2X 2 即 ( ) ( ( ) ) ( )E E g g . , , , 212 1 21 有效较则认为更密集的附近较 的观察值在真值相同的情况下在样本容量 如果和的两个无偏估计量比较参数 n 由于方差是随机变量取值与其数学

12、期望的偏 离程度 , 所以无偏估计以方差小者为好 . 二、 有效性 定义 设 1 1 1 2 2 2 1 2 ( , , , ) , ( , , , )nnX X X X X X 都是总体参数 的无偏估计量 , 且 12 ( ) ( )DD 则称 比 更有效 . 1 2 证 ,)( 2XD由于 ,)( 2nXD 故有 ,)( 2 2 nZD 又因为 ,)( 2nZD故有 ,1 时当 n ),()( XDnZD . 有效较的无偏估计量故 nZX 为 最小方差 (或最佳 )无偏估计量 . 在 的所有无偏估计量中，若 1 是具有最小方差的无偏 估计量，则称 1 【 注 】 .,1 有效较的无偏估计量

13、时试证当 nZXn 例 4 12 12 , 0 , , , , , 3 m in ( , , , ) . n n X X X X X X nZ n X X X 设 总 体 服 从 参 数 为 的 指 数 分 布 其 中 又 设 是 来 自 总 体 的 样 本 例 已 证 和 都 是 的 无 偏 估 计 例如 ( ) . k kk X k E X 样 本 阶 矩 是 总 体 的 阶 矩 的 相 合 估 计 量 .), ,(),( , ),( 2121 21 的相合估计量是 的矩估计量则函数 为连续其中进而若待估参数 n n n A AAgg gg . , ),(, , ,),( 21 21 的相

14、合估计量为则称依概率收敛于 时当若对于任意 的估计量为参数若 n n XXXn XXX 定义 三、 相合性 (一致性 ) 关于相合性的几点说明 相合性是对估计量的一个基本要求 , 不具 备相合性的估计量是不予以考虑的 . 矩估计量具有相合性 , 而最大似然估计量在 一定条件下也具有相合性 . 估计量的相合性只有当样本容量相当大时 , 才能显示出优越性 , 这在实际中往往难以做到 , 因此 ,在实际中往往使用无偏性和有效性这两个 标准 . 作业 : P174 习题 1014. 例 设总体 X的概率密度为 , 0 1 ( ; ) 1 , 1 2 0, x f x x 其 它其中 是未知参数 . (

15、 0 1 ) 12, , , nX X X 为来自总体 X的简单随机样本 , 记 N 为样本值 中小于 1的个数 . 求 12, , , nx x x 的最大似然估计 . 解 1( ) ( ; ) ( 1 ) , l n ( ) l n ( ) l n ( 1 ) , l n ( ) 0. 1 n N n N i i L f x L N n N d L N n N N dn 12 12 0 , , 0 , , , , 2 1 m a x ( , , , ) . n n X X X X X X n X X X n 设 总 体 在 上 服 从 均 匀 分 布 参 数 是 来 自 总 体 的 样 本 ， 试 证 明 和 都 是 的 无 偏 估 计 例 证 )(2)2( XEXE 因为 )(2 XE ,2 . 2 的无偏估计量是所以 X 的概率密度为因为 ),m ax ( 21 nh XXXX 其他,0 ,0, )( 1 x nx xf n n xnxxXE n n h d)( 0 1 所以 ,1 n n ,1 hXnnE故有 12 1 m a x ( , , , ) . n n X X X n 故 也 是 的 无 偏 估 计 量