毕业论文《浅谈参数估计的几种方法》

目录1. 引言 . 12. 点估计 . 12.1 矩法估计 . 22.2 最大似然估计 . 22. 3 矩估计法与最大似然估计法的比较 . 32. 区间估计 . 43.1 常见正态总体的参数估计 . 53. 2. 常见非正态总体参数估计 . 73. 点估计与区间估计的比较 . 9结束语: . 9参考文献: . 10致谢 . 10Ù ÙÙ()ÙÙ(ÙÙÙ长治学院学士学位论文浅谈参数估计的几种方法摘要 参数估计作为数理统计中一种很重要的估计方法，数学领域以及生活中都有很 广泛的应用。在本文将主要介绍参数估计的两种方法即点估计与区间估计以及探讨这两 种方法之间的区别与联系，而求点估计的常用方法有矩估计法和最大似然估计法，点估 计的这两种方法又各有异同，这也是本文将要探讨的重点内容。关键词 点估计；矩法估计；最大似然估计；区间估计；1. 引言参数估计是数理统计中根据理论研究和实际应用需要对未知参数或未知参数的函 数进行估计或者对总体的数字特征进行估计的一种方法，它在数理统计中占有极其重要 的地位，目前国内外许多学者对参数估计做了一些相关的研究，比如说，段福林等人在 参数的区间估计与假设检验方法的讨论一文中详细介绍了非正态总体参数的估计问 题。本文将主要介绍参数估计的几种方法，即点估计与区间估计以及探讨这两种方法的 区别与联系。重点与难点是对参数估计的几种方法的理解以及对各种方法联系与区别的 把握。通过本文对参数估计几种方法的介绍、整理，有助于人们对参数估计有一个更好 的理解。2. 点估计点估计问题就是要构造一个适当的统计量Ùq(X, X ,L , X 1 2n)，用它的观察值来Ùq(x,x ,1 2L , xn)来估计未知参数 q 。定义设 (X, X ,1 2L , Xn)为取自总体 X 的样本，(q,q,1 2L ,qn)为总体分布中的未知参数，若构造统计量 q(X, X ,L , X )，L， q(X, X ,1 1 2 n l 1 2L , Xn)对于抽样实施后的样本观测值 (x,x ,1 2L , xn)，将统计量的观测值q1x x ,1, 2L , xn， L ，q (x,x ,l 1 2L , xn)作为未知参数 q, 1L ,ql的估计，则称q1x x ,1, 2L , xn)，L，q(x,x ,l 1 2L , xn)为(q,q,1 2L ,qn)的点估计值；而称统计量 q1(X, X ,L , X 1 2n)，. ，ql(X, X , L , X 1 2n)为 q, L ,q的点估计量，这 1 l1( )k1 nmÙÙ Ù ÙÙ Ù ÙÙ Ù Ù212ÙiÙnÙ()æÙö ÙqÎH长治学院学士学位论文种对总体分布中未知参数进行定值的估计，这叫做参数的点估计。2.1 矩法估计矩法估计的基本思想是替换原则，即用样本矩替换总体矩，用样本矩的函数替换总 体矩的函数。矩估计法就是以样本矩作为相应总体矩的估计量，以样本矩函数作为相应 总体矩函数的估计量，从而确定待估参数的方法。定 义设 X 的 分 布 中 含 有 未 知 参 数 q,1L ,qm。 假 定 总 体 X 的 k 阶 矩E X =g (q,q,L,qk 1 2 m)存 在(k=1,2, L , m)， 令 g (q,k 1q , L ,2q )=å Xni =1ik(k=1,2, L , m )，解得q =q(X, X , L , Xk k 1 2n) (k=1,2, L , m)，分别取 q , q ,L , q 作为1 2 mq,1L ,qm的估计量。这种球估计量的方法叫矩估计法，所得估计量叫矩估计量。2.2 最大似然估计定义若总体 X 分布形式已知，但含未知参数 q,1q,2L ,ql，x , x , 1 2L , xn是总体 X 的一个样本观察值， 若 在 q, q,1 2L ,ql的 取值范 围 内确定 q , q ,L ,q1 2l，使似然函 数 L（ q,1q,L , q ； x , x ,L , x 2 l 1 2n） 最 大 ， 即 有 L （q,1q, L , q ； x , x ,L , x ） = max L 2 l 1 2 n（ q , q,L , q ； x , x , 1 lL , xn），则称 q （ x , x ,1 2L , xn）为参数 q的最大似然估计值，其i相应的统计量 qi(X, X ,L , X )称为q的最大似然估计量，简记为 MLE。这种确定未知 1 2 n i参数的方法称为最大似然估计法。 最大似然估计法求估计量得步骤：1.构造似然函数 L(q,1q ,2L ,ql)=Õ f (x;iq)；（ f (x;iq)为概率函数）（概率函数 f (x;iq)：i =1当总体是离散型时为事件的概率；当总体是连续型时为密度函数值。）；2.求 q，使得 L Lçq÷=supL q ， q è ø为 q 的极大似然估计；2nqÙ Ù-长治学院学士学位论文1）取对数 ln L (q,q,1 2L ,ql)= å ln f (x;iq)；12）令¶ln L (q,L, 1¶qjqs)=0, j =1,2,L , s ；3）解上式得驻点，检验各驻点是否为最大值，若是，则该驻点为所求；最大似然估计不具备唯一性：求参数的最大似然估计，按定义实际上是依据样本观察值x , x ,., x 1 2 n构造出似然函数式，再求出使似然函数达到最大值的参数 的值，而使函数值达到最大值的点有时不止一个，如取常数值的函数，因此参数的最大似然估计不 具备唯一性。最大似然估计不一定存在：最大似然估计就是求似然函数的极大值点，似然函数是 样本的联合分布密度，似然方程是似然函数的导函数为零的函数。导函数为零的点只是 函数的驻点，而驻点未必是函数的极大值点，所以似然方程的解未必是最大似然估计也 即最大似然估计不一定存在。因此通过解似然方程的方法求最大似然估计时，需要验证 似然方程的解是否是似然函数的极大值点。因此最大似然估计不一定存在。最大似然估计的性质：不变性如果 q 是 q 的最大似然估计，函数 g 有单值反函数，则 g (q) 是 g (q) 的最大似然估计。2.3 矩估计法与最大似然估计法的比较矩法估计原理简单、使用方便，使用时可以不知母体的分布，而且具有一定的优良性质（如矩估计 x 为 E的一致最小方差无偏估计），因此在实际问题，特别是在教育统计问题中被广泛使用。但在寻找参数的矩法估计量时，对母体原点矩不存在的分布如柯 西分布等不能用，另一方面它只涉及母体的一些数字特征，并未用到母体的分布，因此 矩法估计量实际上只集中了母体的部分信息，这样它在体现母体分布特征上往往性质较 差，只有在样本容量较大时，才能保障它的优良性,因而理论上讲，矩法估计是以大样本 为应用对象的。一般估计法与最大似然估计法所得结果不一定完全一致。矩估计法比较直观，简便， 不必解似然方程（组），但当样本容量较大时，所得估计值的精度一般不太高，而极大 似然估计法理论上比较优良，使用范围比较广泛，只要样本容量足够大，极大似然估计3Ù()()Ù æÙö1， -¥<qp1 + q)( x -()å1 niå1 nÙiå 2i2 2ååiièøÙ Ù(Ù Ù(Ù Ù12Ù Ùq 为参数的置信水平为 qa 置信区间， ，1-Ùq ,Lq长治学院学士学位论文和未知参数的真值可以相差任意小，另外，极大似然估计具有不变性。即若q 为总体 X 分布中参数 q 的极大似然估计，而 q 的函数 u =u q 具有单值反函数 q=qu ，则 u =u çq÷è ø便是 u (q)的极大似然估计，这一点矩估计一般不具备。但是极大似然估计要写出似然函 数与解似然方程（组），这一点往往比较困难。矩估计是法是用样本矩估计相应的总体矩，因此，当总体矩不存在时就不能用此方 法。例如，若总体 X 的概率密度为 f (x,q)=估计法来估计 q ，因为 X 的各阶矩都不存在。 2 <+¥，则不能用矩用矩估计法估计同一参数，估计可能不唯一。例如，设总体 X 服从 p l ，用矩估计法来估计 l ，设 X , X ,L , X 为取自 X 的一1 2 n个样本，可令 E (X)= X 。ni =1因为 E (X)=l，所以得到一个 l 的矩估计为： l = Xni =1另外令 E (X2)=1n X 又因为 l=D (X)=E(X2)-E2(X)ni =1Ù 1 n æ1 n ö所以又得 l的一个矩估计为： l= X -ç X ÷n ni =1 i =1但是前一矩估计是 l的一致无偏估计，而后者不是。3. 区间估计由于未知参数 q 的估计量 q=q(X,X , L , X )是样本(X, X ,L , X )的函数，它是一1 2 n 1 2 n个 随 机 变 量 ， 在 由 具 体 的 样 本 观 测 值 (x,x ,1 2L , xn)处 求 得 q 的 点 估 计 值q=qx , x , 1 2L , xn)时，肯定有波动，于是人们自然希望了解这种估计的波动范围及其可信度，这就是区间估计 。定义设总体 X 的概率分布中含未知参数 q，如果对于给定的 a Î(0,1)，存在统计量 q = q x , x , L LL , xn)与q = qUU(x,x ,1 2L , xn)，使得对一切 q有 PæÙ Ù ö çqL£q£qU÷³ è ø1-a。则称Ù Ù ÙL UU分别称为 q的置信下限与置信4q £q£qLUÙ ÙÙ ÙÙ Ù æÙ Ù öÙ-mmèa/ 2maa/ 2a/ 2a/ 2a/ 2mç÷a/ 2a/ 2mm长治学院学士学位论文上限。称 inf p qæÙ Ù öç ÷è ø为q , q 的置信系数，当这个下确界恰好是 1- a时，称 1- a L U为q , q 的置信系数，求未知参数的置信区间就是对未知参数进行区间估计。 L U在这里要求 q 以很大的可能被包含在区间qL ,qU 内，就是说概率 PçqL£q£qU÷要尽可è ø能大，即要求估计尽量可靠；估计的精度要尽可能的高，如要求区间长度q 短或能体现该要求的其他准则。3.1 常见正态总体的参数估计1. 单正态总体均值的置信区间ÙqU L尽可能设总体X N (m,s2),其中 s2 已知 , 而 为未知参数 ,X , X ,1 2L , Xn是取自总体 X 的一个样本 . 对给定的置信水平1 -a, 由上节例 1 已经得到 的置信区间æçX -u × a/ 22. 单正态总体均值的置信区间s s, X +u ×n nö÷,ø设总体X N (m,s2),其中 ,s2未知,X , X ,1 2L , Xn是取自总体 X 的一个样本 .此时可用 s2 的无偏估计S2代替 s2 , 构造统计量X -mT =S / n,由T =X -mS / n t ( n -1).对给定的置信水平 1 - , 由Pì X -m ü í-t ( n -1) < <t ( n -1) ý î S / n þ=1 -a,即ì S S üP íX -t ( n -1) × <m<X +t ( n -1) × ý=1-a, î n n þ因此, 均值 的1 -a置信区间为æ S S ö çX -t ( n -1) × , X +t ( n -1) × ÷. è n n ø3. 单正态总体方差的置信区间上面给出了总体 均值 的区间估计，在实际问题中要考虑精度或稳定性时，需要对正态总体的方差s2进行区间估计 .设总体X N (m,s2),其中 ,s2未知,X , X ,1 2L , Xn是取自总体 X 的一个样本 . 求方差52221-a/2a/ 2222î22þ22÷2ø( n -1) S( n -1) S.,nns2, s2m m22a/ 222î þ2 2ö2 2÷nnm m21212s2长治学院学士学位论文的置信度为 1 -a的置信区间 . s2 的无偏估计为 S 2 , 从第五章第三节的定理知 ,n -1s2S 2 c2( n -1)对给定的置信水平1 -a, 由ì n -1 üP íc ( n -1) < S <c ( n -1) ý=1-a, î s þPìï(n-1) S íïc ( n -1) a/ 2<s <( n -1) S 2 üïýc ( n -1) ï 1-a/2=1 -a,于是方差 s2 的 1 -a置信区间为æççè( n -1) S c ( n -1)a/ 2,( n -1) S 2 ö÷c (n -1) 1-a/2而方差 s 的 1 -a置信区间æ 2 2 öç ÷ç c2 ( n -1) c2 ( n -1) ÷è a/ 2 1-a/2 ø4. 双正态总体均值差的置信区间在实际问题中，往往要知道两个正态总体均值之间或方差之间是否有差异，从而 要研究两个正态总体的均值差或者方差比的置信区间。设 X是总体N (m, s21 1)的容量为 1 的样本均值 ,Y是总体N (m , s22 2)的容量为 2 的样本均值, 且两总体相互独立 , 其中 1 2 已知.因 X与 Y分别是 1 与 2 的无偏估计 , 从第五章第三节的定理知( X -Y ) -(m -m)1 2 N (0,1),对给定的置信水平1 -a, 由s / n +s / n 1 1 22Pì ü ï( X -Y ) -( m -m) ï í 1 2 <u ý ï s / n +s / n ï1 1 2 2=1 -a,可导出m -m1 2的置信度为 1 -a的置信区间为æççèX -Y -u × a/ 2s s1 + 2n n1 2, X -Y +u ×a/ 2s s1 + 2 .n n ÷1 2 ø5. 双正态总体均值差的置信区间设 X是总体N (m,1s2)的容量为 1 的样本均值 , Y 是总体N (m ,2s2)的容量为 2 的样本均值, 且两总体相互独立 , 其中 1 , 2 及 s 未知. 又由T =( X -Y ) -( m -m )1 2S 1/ n +1/ n w 1 2 t ( n +n -2).1 2其中Sw2=n -1 n -1S +n +n -2 n +n -2 1 2 1 2S .2对给定的置信水平1 -a, 根据 t 分布的对称性 , 由P| T |<t1 2( n +n -2) =1 -a, a/ 26÷a/ 2 1 2wa/ 2 1 2wø设 是总体 的容量为 的样本方差 , 是总体n22m , s , m , s S S s2 s22 2a2ç ÷è ø111îþ1 -as2 / s22÷22ø()î-ï()î-( )- -长治学院学士学位论文可导出m -m1 2的 1 -a置信区间为æççè1 1 1 1 ö( X -Y ) -t ( n +n -2) ×S + , ( X -Y ) +t ( n +n -2) ×S + ÷.n n n n1 2 1 26. 双正态总体方差比的置信区间S 2 N ( m, s2) n S 2 N ( m , s2 ) 1 1 1 1 2 2 2的容量为 2 的样本方差 , 且两总体相互独立 , 其中 1 1 2 2 未知 . 1 与 2 分别是 1 与 2 的无偏估 计, 从第五章第三节的定理知对给定的置信水平 1 - , 由æsö S 2 F =ç 2 ÷ 1s S 21 2 F ( n -1, n -1),1 2PF 1-a/2( n -1, n -1) <F <F 1 2 a/ 2( n -1, n -1) =1 -a, 1 2Pì 1 S 2 s2 1 S 2 üí × < < × ý F (n -1, n -1) S 2 s2 F (n -1, n -1) S 2 a/ 2 1 2 2 2 1-a/2 1 2 2=1 -a,可导出方差比 1 2 的 置信区间为æççè1 S 1 S 2 ö× 1 , × 1 ÷.F ( n -1, n -1) S F ( n -1, n -1) S a/ 2 1 2 2 1-a/ 2 1 2 23.2. 常见非正态总体参数估计对于非正态总体参数区间估计的问题，一般指出，在样本容量足够大的情况下，根 据中心极限定理，非正态总体的抽样分布与正态总体的抽样分布差异较小，因此在大样 本情况下，可以把非正态总体问题转化为正态总体问题。1. 指数分布参数的区间估计设总体服从指数分布，密度函数为ìle-lx f x =í0x >0x £0， 其中 l(l>0)未知，X , X ,. X, 1 2n是来自总体 X 的样本，x , x ,., x 1 2 n是样本观测值，求 l的 1-a 置信区间。1 - - 解：由于 是 l的一个点估计，因此 l 的置信区间可以通过 x 而依赖于样本，注意到 2 l xxì的概率密度为 g y =íï12ye 20y >0y £0；它与 l无关，且正好是 x2(2)的密度函数。又根据 x 2分布的可加性， 2lnx - x22n ，可见 2 l x 符合枢轴量的条件，故取枢轴量 T =2l x 。n n7ü-þaa由（1）式得 p2- -aaêú2n x2n xn x -lïïï è ø ïlî þ-2ö -长治学院学士学位论文对给定的正数 a 有:pìíîx 2 (2n)£2lx£x 2 (2n)ý a n a1-2 2= 1 -a（1）其中 x 2 (2n)和x2 (2n)是x2(2n)分布的a分位点。 a a1-2 2ìx 2 (2n) x 2 (2n)üï 1- ïí £l£ 2 ý=1-aï 2 n x 2 n x ïî þ于是 l 的 1 -a置信区间为éx 2 (2n)x 2 (2n)ù ê 1- ú2 , 2- -ê úë û2. 泊松分布总体参数的近似区间估计设总体 X 服从泊松分布 p (l)，其中l未知(l>0)，X,X ,L , X 是来自总体 X 的样本，1 2 n样本观测值为 x , x ,1 2L , xn，求 l 的 1 -a置信区间。因 X , X , 1 2L , X 相互独立都服从同一分布，且 E (X)=l,D(X)=l(i=1,2,L,n)根据独立 n i iì æ- ö üç ÷同分布中心极限定理和分位点定义，当 n 比较大时， p í-z £ £z ý»1-a，a / 2 a / 2ï ïï ï于是 l近似的1 -a置信区间的上下限为：Ùl12=2 x+za / 2næ - z ± ç2x + a / 2è n2÷ -4 xø23. 几何分布总体参数的近似区间估计引理 1对常数 a >- n , p 的方程 npx -11 -p=a 在 (0,1)内有唯一正根。引理 2当 0 <a < n 时，关于 p 的方程 npx -11 -p=a 和 npx -11 -p=-a的两根为82- - -2-2- - -2- - -ÙÙÙ Ù)Ù ÙÙ ÙÙ Ù长治学院学士学位论文p12=2n x-a 2 ± a 4 -4 n x a 2 +4 n x a2n x2。由 引 理 1,2 可 知 ， 几 何 分 布 G (p)中参数 p 的 置 信 水 平 为 1 -a 的 近 似 区 间 估 计2n x -a 2 - a 4 -4 n x a 2 +4 n x a2,2n x -a 2 + a 4 -4 n x a 2 +4 n x a22n x22n x24. 点估计与区间估计的比较参数估计是用极大似然估计或矩估计等方法求得参数 q的估计量 q(X, X ,1 2L , Xn)之后，将样本观察值 x , x ,L , x 代入得一数值 q(x,x ,L , x )，然后用这个数值去猜 q的1 2 n 1 2 n真值。显然参数点估计回答的问题是未知参数“等于什么”的问题。它能给人们一个明 确的数值。因而在实际中，常常使用点估计对客观事物作出判断。然而“猜”是容易犯 错误的。猜的精度如何，可靠性有多大？点估计本身并没有告诉我们，这正是点估计的 不足之处。参数的区间估计是用两个统计量 q (X, X , L , X )，q(X,X ,1 1 2 n 2 1 2L , X （ q <q ）n 1 2构成一个随机区间（ q, q ）去套未知数 q的真值。如果进行 N 次随机抽样，每次得到1 2样本点为 (c,c , L , c )，k =1,2, L , N ，相应得到 N 个区间（ q , q ）1k 2 k nk 1k 2 kk =1,2, L , N 。这 N 个区间中，有的套用了 q的真值，有的没有套用住，区间估计告诉 我们，在置信度为 1 -a的情况下套住 q真值的区间大约有 (1-a)N个。这里置信区间的 长度表示了估计结果的精度，而置信度则表示这一结果的可信度。结束语:参数估计的方法主要有点估计和区间估计，通过以上对参数估计方法的探讨，我们 可以根据不同的情况可以采取不同的方法，点估计是利用样本数据对未知参数进行估计 得到的是一个具体的数据而区间估计是通过样本数据估计未知参数在置信度下的最可 能的存在区间得到的结果是一个区间，当总体参数不清楚时，用一个特定值，一般常用 样本统计量，进行估计，这类问题就用点估计。区间估计是用数轴上的一段距离表示未 知参数可能落入的范围，它虽不具体指出总体参数等于什么，但能指出总体的未知参数 落入某一区间的概率有多大。上文虽然对参数估计的方法进行了比较系统的总结但是还9长治学院学士学位论文有待进一步研究。参考文献: 1 肖果能 唐立 陈亚利 杨文胜.概率论与数理统计 M . 湖南科学技术出版社, 2002. 2 戴朝寿.数理统计简明教程 M .北京: 高等教育出版社, 2004. 3 范正森 童仕宽.概率统计方法与应用 M .科学出版社,2001. 4 汪荣鑫.数理统计 M.西安交通大学出版社,1986.5 段福林 徐健.参数的区间估计与假设检验方法的讨论J. 上饶师范学院学 报,2008,06:8-11.6 黄杏模.谈谈点估计与区间估计J. 南京林校,1994-2010,4-8 7 杨海岳.参数估计中几个问题的分析J.承德民族师专学报, 1996,02:25-27. 8 邹小云.极大似然估计的性质探讨J. 湖北职业技术学院学报,2007,06:94-97. 9 冯翠莲. 常用点估计的方法及比较J . 经济管理与干部教育,1997,45-52 . 9 夏慧异 唐梅. 参数估计方法的比较J . 安庆师范学院学报,2008,05;80-88.Discusses several methods of parameter estimateFundamental and Applied MathematicsTutor: lijianliNo. 07404312 Li mu yangparameter estimation as an important mathematical statistics, mathematics estimatingmethod and life are very widely. In this paper, we introduce the two parameters estimation method,the point estimation and interval estimation and explore the two methods, the differences andrelations between the point estimation for commonly used method have moment estimatorsmethod and the maximum likelihood estimation method, the point estimation and the two methods has similarities and differences, this is also the paper will explore the key content.致谢四年的读书生活在这个季节即将划上一个句号，而对于我的人生却只是一个逗号，10长治学院学士学位论文我将面临又一次征程的开始。在师长、亲友的大力支持下，四年的求学生涯走得辛苦却也收获满囊，在论文即将 付梓之际，思绪万千，心情久久不能平静。 伟人、名人为我所崇拜，可是我更急切地 要把我的敬意和赞美献给一位平凡的老师，我的指导老师李建丽老师。您治学严谨， 学识渊博，思想深邃，视野雄阔，为我营造了一种良好的精神氛围。授人以鱼不如授人 以渔，置身其间，耳濡目染，潜移默化，使我不仅接受了全新的思想观念，树立了宏伟 的学术目标，领会了基本的思考方式，从论文题目的选定到论文写作的指导,经由您悉心 的点拨,再经思考后的领悟,常常让我“山重水复疑无路,柳暗花明又一村”。我要感谢我的父母，焉得谖草，言树之背，养育之恩，无以回报，你们永远健康快 乐是我最大的心愿。在论文即将完成之际，我的心情无法平静，从开始进入课题到论文 的顺利完成，有多少可敬的师长、同学、朋友给了我无言的帮助，在这里请接受我诚挚 的谢意！同时也感谢学院为我提供良好的做毕业论文的环境。最后再一次感谢所有在毕业论文中曾经帮助过我的良师益友和同学，以及在论文中 被我引用或参考的论著的作者。李沐阳2011.05.1211长治学院学士学位论文12