概率论与数理统计教程(茆诗松)第6章ppt课件

《概率论与数理统计教程(茆诗松)第6章ppt课件》由会员分享，可在线阅读，更多相关《概率论与数理统计教程(茆诗松)第6章ppt课件（56页珍藏版）》请在装配图网上搜索。

1、第六章 参数估计6.1 点估计的几种方法6.2 点估计的评价标准6.3 最小方差无偏估计6.4 贝叶斯估计6.5 区间估计 一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。设 x1,x2,xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作为 的估计值，称为 的点估计（量），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：1(,)nxx 其一 是如何给出估计，即估计的方法问题；其二 是如何对不同的估计进行评价，即估 计的好

2、坏判断标准。6.1.1 替换原理和矩法估计 一、矩法估计 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：用样本均值估计总体均值E(X)，即 ；用样本方差估计总体方差Var(X)，即 用样本的 p 分位数估计总体的 p 分位数，用样本中位数估计总体中位数。()E Xx2Var()nXs例6.1.1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给

3、出总体均值、方差和中位数的估计分别为:28.695,0.9185 和 28.6。矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。20.528.695,0.9185,28.6nxsm 设总体具有已知的概率函数 P(x,1,k)，x1,x2,xn 是样本，假定总体的k阶原点矩k存在，若1,k 能够表示成 1,k 的函数j=j(1,k)，则可给出诸j 的矩法估计为 其中1(,),1,jjkaajk11njjiiaxn例6.1.2 设总体服从指数分布，由于EX=1/，即=1/EX，故 的矩法估计为 另外，由于Var(X)=1/2，其反函数为 因此，从替换原理来看，的矩法估计也可

4、取为 s 为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。1/x1/Var()X11/s例6.1.3 x1,x2,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，这里k=2，由于 不难推出 由此即可得到a,b的矩估计：2(),Var(),212abbaEXX3Var(),3Var(),aEXXbEXX3,3axsbxs定义6.1.1 设总体的概率函数为P(x;)，是参数可能取值的参数空间，x1,x2,xn 是样本，将样本的联合概率函数看成 的函数，用L(;x1,x2,xn)表示，简记为L()，称为样本的似然

5、函数。112()(;,)(;)(;)(;)nnLLxxp xp xp x 如果某统计量 满足 则称 是 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。1(,)nxx()max()LL人们通常更习惯于由对数似然函数lnL()出发寻找 的极大似然估计。当L()是可微函数时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些。例6.1.6 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观测到三种结果发生的次数分别为 n1,n2 ,n3(n1+n2+n3=n)，则似然函数为 其对数似然函数为22123,2(1),(1)ppp123

6、212322222()()2(1)(1)2(1)nnnnnnnnL12322ln()(2)ln(2)ln(1)ln2Lnnnnn将之关于 求导，并令其为0得到似然方程解之，得由于所以 是极大值点。12322201nnnn1212123222()2nnnnnnnn21232222ln()220(1)Lnnnn 例6.1.7 对正态总体N(,2)，=(,2)是二维参数，设有样本 x1,x2,xn，则似然函数及其对数分别为 22212/222122221()1(,)exp221(2)exp()21ln(,)()lnln(2)222niinniiniixLxnnLx 将 lnL(,2)分别关于两个分量

7、求偏导并令其为0,即得到似然方程组 (6.1.9)(6.1.10)221ln(,)1()0niiLx 222421ln(,)1()022niiLnx 解此方程组，由(6.1.9)可得 的极大似然估计为 将之代入(6.1.10)，得出 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。11niixxn2221*1()niixxsn 虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。例6.1.8 设 x1,x2,xn 是来自均匀总体 U(0,)的样本，试求 的极大似然估计。解 似然函数 要使L()达到最大，首先一点是示性函数取值应该为1，

8、其次是1/n尽可能大。由于1/n是的单调减函数，所以 的取值应尽可能小，但示性函数为1决定了 不能小于x(n)，由此给出的极大似然估计：。()0111()innxxnniLII()nx6.2.1 相合性 我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。定义6.2.1 设 为未知参数，是 的一个估计量，n 是样本容量，若对任何一个0，有 (6.2.1

9、)则称 为 参数的相合估计。1(,)nnnxxlim(|)0nnPn 相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时，它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的。通常,不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。nn在判断估计的相合性时下述两个定理是很有用的。定理6.2.1 设 是 的一个估计量，若 则 是 的相合估计，1(,)nnnxxlim(),lim()0nnnn

10、EVarn1,nnk1(,)nnnkg定理6.2.2 若 分别是1,k 的相合估 计，=g(1,k)是1,k 的连续函数，则 是 的相合估计。定义6.2.2 设 是 的一个估计，的参数空间为，若对任意的，有 则称 是 的无偏估计，否则称为有偏估计。1(,)nxx()E例6.2.4 对任一总体而言，样本均值是总体均值的无偏估计。当总体k阶矩存在时，样本k阶原点矩ak是总体k阶原点矩 k的无偏估计。但对中心矩则不一样，譬如，由于 ，样本方差s*2不是总体方差 2的无偏估计，对此，有如下两点说明：(1)当样本量趋于无穷时，有E(s*2)2，我们称 s*2 为 2的渐近无偏估计。(2)若对s*2作如下

11、修正：，则 s2 是总体方差的无偏估计。22*1()nE sn2221*1()11niinssxxnn定义6.2.3 设 是 的两个无偏估计，如果对任意的 ,有 且至少有一个 使得上述不等号严格成立，则称 比 有效。12,12Var()Var(),12例6.2.6 设 x1,x2,xn 是取自某总体的样本，记总体均值为，总体方差为 2，则 ,都是 的无偏估计，但 显然，只要 n1，比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。11x2x2212Var(),Var()/n21 无偏估计不一定比有偏估计更优。评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的

12、期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。2()()MSEE 注意到 ，因此(1)若 是 的无偏估计，则 ，这说明用方差考察无偏估计有效性是合理的。(2)当 不是 的无偏估计时，就要看其均方 误差 。下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。2()Var()()MSEE()MSE()Var()MSE例6.2.8 对均匀总体U(0,)，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计

13、优于无偏估计 。()(1)/nnxn2()Var()(2)MSEn n()nx22222()1(1)(2)1nnMSEnnn0(2)/(1)nn2202()()(1)(2)MSEMSEnn n0 定义6.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计，在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。Var()Var()6.5.1 区间估计的概念 定义6.5.1 设 是总体的一个参数，其参数空间为，x1,x2,xn是来自该总体的样本，对给定的一个(0 1)，若有两个统计量 和 ，若对任意的

14、，有 （6.5.1）1(,)LLnxx1(,)UUnxx()1,LUP 则称随机区间 为 的置信水平为1-的置信区间，或简称 是 的1-置信区间.和 分别称为 的（双侧）置信下限和置信上限.,LU 这里置信水平1-的含义是指在大量使用该置信区间时，至少有100(1-)%的区间含有。,LULU例6.5.1 设x1,x2,x10是来自N(,2)的样本，则 的置信水平为1-的置信区间为 其中，,s 分别为样本均值和样本标准差。这个置信区间的由来将在6.5.3节中说明，这里用它来说明置信区间的含义。若取=0.10，则t0.95(9)=1.8331，上式化为1212(9)10,(9)10 xtsxts0

15、.5797,0.5797xsxsx 现假定=15,2=4，则我们可以用随机模拟方法由N(15,4)产生一个容量为10的样本，如下即是这样一个样本：14.85 13.01 13.50 14.93 16.97 13.80 17.9533 13.37 16.29 12.38 由该样本可以算得 从而得到 的一个区间估计为 该区间包含 的真值-15。现重复这样的方法 100次，可以得到100个样本，也就得到100个区 间，我们将这100个区间画在图6.5.1上。14.7053,1.8438xs14.7053 0.5797 1.8438,14.7053 0.5797 1.8438 13.6427,15.7

16、679 由图6.5.1可以看出，这100个区间中有91个包含参数真值15，另外9个不包含参数真值。图6.5.1 的置信水平为0.90的置信区间 取=0.50，我们也可以给出100个这样的区间，见图6.5.2。可以看出，这100个区间中有50个包含参数真值15，另外50个不包含参数真值。图6.5.2 的置信水平为0.50的置信区间 定义6.5.2 沿用定义6.5.1的记号，如对给定的(0 1)，对任意的，有 （6.5.2）称 为 的1-同等置信区间。同等置信区间是把给定的置信水平1-用足了。常在总体为连续分布场合下可以实现。()1LUP,LU定义 若对给定的(0 1)和任意的，有 ，则称 为 的

17、置信水平为1-的（单侧）置信下限。假如等号对一切成立，则称 为 的1-同等置信下限。若对给定的(0 1)和任意的，有 ,则称 为 的置信水平为1-的（单侧）置信上限。若等号对一切成立，则称 为1-同等置信上限。单侧置信限是置信区间的特殊情形。因此，寻求置信区间的方法可以用来寻找单侧置信限。LLUU()1LP()1UP一、一、已知时已知时 的置信区间的置信区间 在这种情况下，枢轴量可选为 ，c和d应满足P(cGd)=(d)-(c)=1-，经过不等式变形可得 该区间长度为 。当d=-c=u1-/2时，d-c达到最小，由此给出了的同等置信区间为 ，。（6.5.8）这是一个以 为中心，半径为 的对称区

18、间，常将之表示为 。(0,1)xGNn1Pxdnxcn()/dcn12xun12xunx12un12xun例6.5.3 用天平秤某物体的重量9次，得平均值为 （克），已知天平秤量结果为正态分布，其标准差为0.1克。试求该物体重量的0.95置信区间。解：此处1-=0.95，=0.05，查表知u0.975=1.96，于是该物体重量 的0.95置信区间为 ，从而该物体重量的0.95置信区间为 15.3347，15.4653。15.4x 1215.4 1.96 0.1 9 15.4 0.0653x un例6.5.4 设总体为正态分布N(,1)，为得到 的置信水平为0.95的置信区间长度不超过1.2，样

19、本容量应为多大？解：由题设条件知 的0.95置信区间为 其区间长度为 ，它仅依赖于样本容量n而与样本具体取值无关。现要求 ，立即有n(2/1.2)2u21-/2.现1-=0.95，故u1-/2=1.96，从而n(5/3)2 1.962=10.6711。即样本容量至少为11时才能使得 的置信水平为0.95的置信区间长度不超过1.2。122 un1221.2un1212/,/xunxun二、2未知时 的置信区间 这时可用t 统计量，因为 ，因此 t 可以用来作为枢轴量。完全类似于上一小节，可得到 的1-置信区间为 此处 是 2的无偏估计。()(1)n xtt ns1212(1),(1)x tnsn

20、x tnsn221()1isxxn例6.5.5 假设轮胎的寿命服从正态分布。为估计某种轮胎的平均寿命，现随机地抽12只轮胎试用，测得它们的寿命（单位：万公里）如下：4.68 4.85 4.32 4.85 4.61 5.025.20 4.60 4.58 4.72 4.38 4.70 此处正态总体标准差未知，可使用t分布求均值的置信区间。经计算有 =4.7092，s2=0.0615。取=0.05，查表知t0.975(11)=2.2010，于是平均寿命的0.95置信区间为（单位：万公里）x4.70922.20100.0615/124.5516,4.8668 在实际问题中，由于轮胎的寿命越长越好，因此

21、可以只求平均寿命的置信下限，也即构造单边的置信下限。由于 由不等式变形可知 的1-置信下限为 将t0.95(11)=1.7959代入计算可得平均寿命 的0.95置信下限为4.5806（万公里）。()(1)1n xP tns 1(1)xtnsn 取枢轴量 ，由于 2分布是偏态分布，寻找平均长度最短区间很难实现，一般都用等尾置信区间：采用 2的两个分位数 2/2(n-1)和21-/2(n-1)，在 2分布两侧各截面积为/2的部分，使得 由此给出 2的1-置信区间为 222(1)1nsGn222/21/2211nsP2222121211,11nsnnsn例6.5.6 某厂生产的零件重量服从正态分布N

22、(,2)，现从该厂生产的零件中抽取9个，测得其重量为（单位：克）45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6 试求总体标准差 的0.95置信区间。解：由数据可算得 s2=0.0325，(n-1)s2=80325=0.26.查表知 2 0.025(8)=2.1797，20.975(8)=17.5345，代入可得 2的0.95置信区间为 从而 的0.95置信区间为:0.1218，0.3454。0.260.26,0.0148,0.119317.53452.1797 设x1,xm是来自N(1,12)的样本，y1,yn是来自N(2,22)的样本，且两个样本相互

23、独立。与 分别是它们的样本均值，和 分别是它们的样本方差。下面讨论两个均值差和两个方差比的置信区间。xy22111mxiisxxm22111nyiisyyn一、1-2的置信区间1、12和 22已知时的两样本u区间 2、12=22=2未知时的两样本t区间 222212121212,xyuxyumnmn12122,2wwmnmnxys tmnxys tmnmnmn3、22/12=已知时的两样本t区间 12122,2ttmnmnxystmnxystmnmnmn4、当m和n都很大时的近似置信区间 5、一般情况下的近似置信区间 其中 22221212,yyxxssssxyuxyumnmn 0 120 1

24、2,xys tlxys tl2220/,xyssmsn40442211yxslssmmnn例6.5.9 为比较两个小麦品种的产量，选择18块条件相似的试验田，采用相同的耕作方法作试验，结果播种甲品种的8块试验田的亩产量和播种乙品种的10块试验田的亩产量（单位：千克/亩）分别为：甲品种 628 583 510 554 612 523 530 615 乙品种 535 433 398 470 567 480 498 560 503 426 假定亩产量均服从正态分布，试求这两个品种平均亩产量差的置信区间.(=0.05）。解：以x1,x8记甲品种的亩产量，y1,y10记乙品种的亩产量，由样本数据可计算得

25、到 =569.3750，sx2=2140.5536，m=8 =487.0000，sy2=3256.2222，n=10 下面分两种情况讨论。xy(1)若已知两个品种亩产量的标准差相同，则可采用两样本t区间。此处 故1-2的0.95置信区间为22117 2110.55369 3256.222252.4880216xywmsnssmn 120.9752162.1199tmnt12111122.1199 52.488052.7797810wtmnsmn569.3750 487 52.7797,9569.3750 487 52.7797 29.5953,135.1547(2)若两个品种亩产量的方差不等，

26、则可采用近 似 t 区间。此处 s02=2110.5536/8+3256.2222/10=589.4414，s0=24.2784 于是1-2的0.95近似置信区间为 31.3685，133.38152.2222589.441417.7429 182110.55363256.2222871011l 0 0.97524.2784 2.100951.0065s tl 二、12/22的置信区间 由于(m-1)sx2/12 2(m-1),(n-1)sy2/22 2(n-1)，且sx2与sy2相互独立，故可仿照F变量构造如下枢 轴量 ,对给定的1-，由 经不等式变形即给出 12/22的如下的置信区间221

27、2221,1xysFF mns2222122211,11,11xysP FmnFmns 222212211,1,11,1xxyysssFmnsFmn例6.5.10 某车间有两台自动机床加工一类套筒，假设套筒直径服从正态分布。现在从两个班次的产品中分别检查了5个和6个套筒，得其直径数据如下（单位：厘米）：甲班：5.06 5.08 5.03 5.00 5.07 乙班：4.98 5.03 4.97 4.99 5.02 4.95 试求两班加工套筒直径的方差比 甲2/乙2的0.95置信区间。解：由数据算得sx2=0.00037,sx2=0.00092，故置信区间0.0544，3.7657 0.0250.975114,50.10685,49.36FF0.9754,57.39F