参数估计点课件

《参数估计点课件》由会员分享，可在线阅读，更多相关《参数估计点课件（44页珍藏版）》请在装配图网上搜索。

1、参参 数数 估估 计计参数估计点两种总体分布未知的情形两种总体分布未知的情形n总体分布的形式是已知的总体分布的形式是已知的，但其中包含未，但其中包含未知参数。我们的任务是通过样本来估计这知参数。我们的任务是通过样本来估计这些未知参数参数估计问题些未知参数参数估计问题n总体分布的形式是未知的总体分布的形式是未知的。我们的任务是。我们的任务是通过样本来估计总体的分布非参数估计通过样本来估计总体的分布非参数估计问题。问题。n本课程只讨论参数估计问题。本课程只讨论参数估计问题。参数估计点未未知知，的的指指数数分分布布，其其中中参参数数是是服服从从参参数数为为设设总总体体0 X而而估估计计总总体体的的分

2、分布布的的取取值值，从从，来来估估计计我我们们的的任任务务是是根根据据样样本本 这这是是一一个个参参数数估估计计问问题题的的一一个个样样本本，是是总总体体 XXXn,1参数估计点参参 数数 估估 计计o 点估计点估计o 区间估计区间估计o 估计量的评选标准估计量的评选标准参数估计点估估参参数数。是是待待的的形形式式为为已已知知，的的分分布布函函数数设设总总体体 );(xFX应的样本值。应的样本值。是相是相的一个样本，的一个样本，是是nnxxXXX,11。来来估估计计未未知知参参数数值值，用用它它的的观观察察构构造造一一个个适适当当的的统统计计量量 ),(),(11nnxxXX；估估计计量量的的

3、为为我我们们称称 ),(1nXX。估估计计值值的的为为称称 ),(1nxx什么是点估计什么是点估计对未知参数进行对未知参数进行定值估计定值估计的方法称为点估计的方法称为点估计随机变量随机变量数组数组参数估计点点点 估估 计计 矩估计矩估计 极大似然估计极大似然估计参数估计点 矩估计法矩估计法概概率率密密度度为为为为连连续续型型随随机机变变量量，其其设设X,1是是待待估估参参数数其其中中k klEXll,2,1,存存在在设设 分分布布律律为为为为离离散散型型随随机机变变量量，其其X.,),(klkll211 则则),;(1kxf ),;(1kxPxXP .,1的样本的样本为来自为来自XXXn总体

4、的 阶矩l参数估计点由辛钦大数定律知由辛钦大数定律知 nililXnA11P,l.,2,1kl.,1,llllAklA 估估计计用用令令所所以以 矩估计的原理矩估计的原理 nililXnA11样本的样本的 阶矩阶矩l参数估计点 kkkkkAAA ，2121222111 nkknnXXXXXXXXX，2121222111 的的联联立立方方程程组组，个个未未知知参参数数这这是是包包含含kk 1即即，记记为为从从中中解解出出方方程程组组的的解解,1k 的的估估计计量量，分分别别作作为为，用用kk 11参数估计点例例 1 设某炸药厂一天中发生着火现象的次数设某炸药厂一天中发生着火现象的次数X服从服从（

5、用用矩矩法法）。试试估估计计参参数数未未知知，有有以以下下样样本本值值；的的泊泊松松分分布布，参参数数为为 250126225490756543210knkk次着火天数次着火天数发生发生着火的次数着火的次数,X令令 x 则则。所所以以估估计计值值22.1 22.1)16901750(2501 niiXXnA111,1 EX样本容量样本容量为为250250参数估计点,1是一个样本是一个样本未知未知设总体设总体nXXbabaUX的矩估计量。的矩估计量。求：求：ba,21baEX 2ba 令令4)(12)(22baab 22EX 2)(EXDX 4)(12)(22baab 例例2解：解：1A 2A,

6、21Aba 即即)(12212AAab 参数估计点)(12,22121AAabAba 即即)(32121AAAa )(3 2121AAAb 解得解得：)(312 niiXXnX niiXXnX12)(3212AA )(1212XnXnnii niiXXn12)(12121XXnnii 参数估计点是一个样本；是一个样本；未知，又设未知，又设，但但都存在，且都存在，且，方差，方差的均值的均值设总体设总体nXXX,01222 的的矩矩估估计计量量。求求：2,解：解：,2211AA 令令,2221AA 即即,1XA 所以所以2122AA 22 EX 222)(EXDX2121XXnnii 21)(1X

7、Xnnii 例例3,1 EX总体均值与方差的矩估计量的表达式与总体分布形式无关！总体均值与方差的矩估计量的表达式与总体分布形式无关！参数估计点未未知知；特特别别，若若22,),N(X niiXXnX122)(1,则则解：解：例例4的的矩矩估估计计个个样样本本，试试求求参参数数是是从从该该总总体体中中抽抽取取的的一一未未知知，的的指指数数分分布布，其其中中服服从从参参数数为为设设总总体体 nXXXX,021 X1 参数估计点极大似然估计极大似然估计参数估计点极大似然思想极大似然思想 有两个射手，一人的命中率为有两个射手，一人的命中率为0.9,0.9,另一人的命中另一人的命中率为率为0.1,0.1

8、,现在他们中的一个向目标射击了一发，现在他们中的一个向目标射击了一发，结果命中了，估计是谁射击的？结果命中了，估计是谁射击的？一般说，事件一般说，事件A发生的概率与参数发生的概率与参数有关，有关，取值不同取值不同，则，则P(A)也不同。因而应记也不同。因而应记事件事件A发生的概率为发生的概率为P(A|).若若A发生了，则认为此时的发生了，则认为此时的 值应是在值应是在 中使中使P(A|)达到最大达到最大的那一个的那一个。这就是极大似然思想。这就是极大似然思想 参数估计点属属离离散散型型，其其分分布布律律若若总总体体X)1 niixp1);(),;(xpxXP可可能能取取值值的的范范围围。是是为

9、为待待估估参参数数，的的形形式式为为已已知知，的的联联合合分分布布律律：则则的的样样本本是是来来自自设设nnXXXXX,11的概率为的概率为取取易知样本易知样本nnxxXX,11,11的的一一个个样样本本值值是是又又设设nnXXxx);,()(1 nxxLL.,);(1 niixp参数估计点);,()(1 nxxLL.,);(1 niixp有关有关观察值的概率与观察值的概率与取取易知样本易知样本 nnxxXX,111111);,()(pxxLLn 若2212);,()(pxxLLn 3313);,()(pxxLLn 1 2 3 个个不不同同的的估估计计值值的的是是未未知知参参数数3 321pp

10、p 选哪个估计值比较合理选哪个估计值比较合理参数估计点);,()(1 nxxLL.)(.称称为为样样本本的的似似然然函函数数的的函函数数它它是是 L使使得得：的的估估计计值值，即即取取，作作为为的的参参数数达达到到最最大大挑挑选选使使概概率率固固定定 );,(,11nnxxLxx极大似然法原理：极大似然法原理：);,(max);,(11 nnxxLxxL );,(,11nnxxxx 有有关关，记记为为与与。极极大大似似然然估估计计值值的的称称其其为为参参数数.,);(1 niixp参数估计点.),;()2为为待待估估参参数数的的形形式式已已知知，属属连连续续型型，其其概概率率密密度度若若总总体

11、体 xfX的的联联合合密密度度：则则nXX,1 niixf1);(似似为为：维维立立方方体体）内内的的概概率率近近的的别别为为的的邻邻域域（边边长长分分落落在在机机点点的的一一个个样样本本值值，则则随随是是相相应应设设ndxdxxxXXXXxxnnnnn,),(),(,11111 );(1iniidxxf ix)(ixf参数估计点 应应当当选选取取使使得得的的前前提提下下，自自然然，在在得得到到观观测测值值nxxx21的估计值的估计值值作为未知参数值作为未知参数达到最大的达到最大的 );(1iniidxxf 大大样样本本观观测测值值的的可可能能性性最最定定的的那那个个等等于于这这个个值值时时，

12、出出现现给给因因为为当当未未知知参参数数 而变，故只需考虑：而变，故只需考虑：不随不随但但 iidx ,);();,()(11 niinxfxxLL 。似似然然函函数数称称为为样样本本的的的的最最大大值值，这这里里)(L参数估计点);,(max);,(11 nnxxLxxL 若若。极极大大似似然然估估计计值值的的为为则则称称 ),(1nxx。极极大大似似然然估估计计量量的的为为称称 ),(1nXX);(),;(可可由由下下式式求求得得：可可微微，故故关关于于一一般般，xfxp0)(ddL也也可可从从下下述述方方程程解解得得：大大似似然然估估计计的的极极处处取取到到极极值值，因因此此在在同同一一

13、与与又又因因 )(ln)(LL0)(ln Ldd-对数似然方程对数似然方程-似然方程似然方程-似然方程似然方程参数估计点个个参参数数，若若总总体体的的分分布布中中包包含含多多kiLi,1,0 即即可可令令的的极极大大似似然然估估计计值值。个个方方程程组组求求得得解解kk ,1的的极极大大似似然然估估计计量量。即即可可得得k ,1kiLi,1,0ln 或或-对数似然方程组对数似然方程组-似然方程组似然方程组参数估计点极大似然法求估计量的步骤极大似然法求估计量的步骤：(一般情况下一般情况下):)()1 L构构造造似似然然函函数数,()()(1 niixPL离散型）离散型）niixfL1;()()(

14、连连续续型型）);(ln)2 L取对数：取对数：;0ln)3 dLd令令.)4 的的极极大大似似然然估估计计量量解解似似然然方方程程得得说明：若似然方程（组）无解，或似然函数不可导，说明：若似然方程（组）无解，或似然函数不可导，此法失效，改用其它方法。此法失效，改用其它方法。参数估计点的的一一个个样样本本，是是来来自自设设XXXpBXn,);,1(1试求参数试求参数 p 的极大似然估计量。的极大似然估计量。解：解：;1,0,)1(1 xppxXPxx故似然函数为故似然函数为 nixxiipppL11)1()()(lnpL而而例例4,)1(11 niiniixnxpp).1ln()(ln)(11

15、pxnpxniinii 的的分分布布律律为为：是是一一个个样样本本值值。设设Xxxn,1,()()(1 niixPL离离散散型型）参数估计点的的极极大大似似然然估估计计值值解解得得p的的极极大大似似然然估估计计量量为为p-它与矩估计量是相同的。它与矩估计量是相同的。即即令令,0)(ln pLdpdxxnpnii 11 XXnpnii 11 )1ln()(ln)()(ln11pxnpxpLniinii .0111 pxnpxniinii例例4（续）（续）参数估计点的的一一个个样样本本值值，是是来来自自为为未未知知参参数数，设设XxxNXn,);,(122 .,2的的极极大大似似然然估估计计量量求

16、求 )(21exp21),;(222 xxf似然函数为：似然函数为：niixL1222)(21exp21),(Lln1 点估计例例5)ln(22 n niix122)(21 )2ln(2 n 2122)(22)2(niixne的的概概率率密密度度为为：X niixfL1;()()(连连续续型型）参数估计点 0ln0ln2 LL令令,11xxnnii 解解得得：:,2的的极极大大似似然然估估计计量量为为故故 )2ln(2ln nL )ln(22 n niix122)(21 即：即：.)(1 11221 niiniiXXnXXn 0)(1 12 niix0)(212-2142 niixn niix

17、xn122)(1 例例4（续）（续）参数估计点是一个样本值，是一个样本值，未知，未知，设设nxxbabaUX,;,1的的极极大大似似然然估估计计量量。求求：ba,X 的概率密度为：的概率密度为：其它其它,0;,1),;(bxaabbaxf nabbaL)(1,),ln(,lnabnbaL nibxai，21 ;0,ln abnbaLa例例6似然函数为似然函数为 ,0,ln abnbaLb 但这不能说明不存在极但这不能说明不存在极大似然估计量，只是不能由似然方程组求解。大似然估计量，只是不能由似然方程组求解。显然，似然方程组无解显然，似然方程组无解，niixfL1;()()(连连续续型型）参数估

18、计点 其它其它,0;,)(1),()()1(bxxaabbaLnn有有的的任任意意对对于于满满足足babxxan,)()1(nnnxxabbaL)(1)(1),()1()(按按从从小小到到大大顺顺序序排排列列成成将将nxx,1,)()2()1(nxxx 则则使使得得似似然然函函数数取取最最大大值值，可可能能取取值值的的范范围围中中找找到到从从 baba,参数估计点时时，在在即即：)()1(,),(nxbxabaL 的的极极大大似似然然估估计计值值为为：故故ba,max,min)()1(inixxbxxa 的的极极大大似似然然估估计计量量为为：故故ba,.max,miniiXbXa nnxx)(

19、1)1()(取最大值例例6（续）（续）参数估计点的极大似然估计；的极大似然估计；是是具有单值反函数，具有单值反函数，的函数的函数设设 ),(uu,)(12122的的极极大大似似然然估估计计是是例例：niiXXn)0(,)(2222 uuuu 有有单单值值反反函函数数.)(1122的的极极大大似似然然估估计计是是故故 niiXXn极大似然估计性质极大似然估计性质的的极极大大似似然然估估计计。是是则则)()(uuu 参数估计点.05.0,),(22的的极极大大似似然然估估计计量量的的点点未未知知，求求使使设设AAXPNX AXP,645.1 A查表有查表有.645.1 A所以所以为为的极大似然估计

20、量分别的极大似然估计量分别和和由前面知由前面知2 的极大似然估计量为的极大似然估计量为所以所以A05.0)(1 A 645.1 A.)(1645.112 niiXXnX niiXXnX122)(1,解解：参数估计点估计量的的评选标准估计量的的评选标准o 无偏性无偏性o 有效性有效性o 一致性一致性对一个未知参数的对一个未知参数的估计量有多个，哪估计量有多个，哪个比较好呢？个比较好呢？参数估计点,),(1 EXXn且且的的数数学学期期望望存存在在，若若的的无无偏偏估估计计量量。是是则则称称 无无 偏偏 性性例例1的的样样本本，是是总总体体),(,21 NXXXn.,2均均未未知知 .的的无无偏偏

21、估估计计量量是是所所以以 X.)(1121222的的无无偏偏估估计计量量是是所所以以 niiXXnS,XE因因为为,22 ES而而参数估计点 niiXXnB1221考察考察由于由于 niiXXnEBE1221 niiXXnnnE12111 21SEnn 21 nn 的的有有偏偏估估计计是是总总体体方方差差因因此此，21221 niiXXnB参数估计点阶阶矩矩，并并设设存存在在设设总总体体mX,阶阶原原点点矩矩是是样样本本的的 k，kkEX nikikXnA11由由于于的的无无偏偏估估计计阶阶原原点点矩矩是是总总体体的的因因此此knikikkXnA 11 mk，21 mk，21 nikikXnE

22、AE11 nikiXEn11 nikn11 k mk，21 例例2的的样样本本，又又设设是是总总体体 XXXn,1参数估计点计计一一定定有有无无穷穷多多个个无无偏偏估估则则，与与有有两两个个不不同同的的无无偏偏估估计计如如果果未未知知参参数数 21，数数这这是是因因为为，对对任任意意的的实实 211 的无偏估计的无偏估计一定是未知参数一定是未知参数 参数估计点,),(),(122111的的无无偏偏估估计计量量都都是是，若若 nnXXXX .21有有效效较较则则称称 ),()(21 DD 且且有效性有效性212111)-()E-()(EED .1的的偏偏离离程程度度与与表表示示 1 2 哪个更好

23、？哪个更好？,),(),(122111的的无无偏偏估估计计量量都都是是，若若 nnXXXX ),()(21 DD 且且参数估计点 未未知知，其其中中，设设总总体体 2 NX个个样样本本是是从从该该总总体体中中抽抽取取的的一一321,XXX试试验验证证：;21103513211XXX ;12541313212XXX 计计中中，哪哪一一个个更更有有效效？的的估估这这两两个个的的无无偏偏估估计计，并并指指出出在在都都是是未未知知参参数数 参数估计点 32112110351XXXEE 32121254131XXXEE 3212110351XEXEXE 2110351 3211254131XEXEXE

24、1254131参数估计点 32112110351XXXDD 32121254131XXXDD 321411009251XDXDXD 22221800684411009251 3211442516191XDXDXD 222218006251442516191 21比有效参数估计点.,),(1 PnnnnXX时时，当当对对于于任任意意如如果果的的估估计计量量为为参参数数若若的的相相合合估估计计量量。是是则则称称 相合性相合性相合性是对一个估计量的基本要求，若估计量不具有相相合性是对一个估计量的基本要求，若估计量不具有相合性，则不论将样本容量合性，则不论将样本容量n n 取多大，都不能将未知参数取多大，都不能将未知参数估计得足够准确，这样的估计量是不可取的。估计得足够准确，这样的估计量是不可取的。由矩估计法得到的估计量满足相合性由矩估计法得到的估计量满足相合性由最大似然估计法得到的估计量在一定条件下满足相合性由最大似然估计法得到的估计量在一定条件下满足相合性参数估计点作业：作业：本章习题本章习题5 5、6 6、1111