Lecture4 参数估计

《Lecture4 参数估计》由会员分享，可在线阅读，更多相关《Lecture4 参数估计（17页珍藏版）》请在装配图网上搜索。

1、1第一种方法：第一种方法：Newton迭代法迭代法1.原理：设原理：设xk方程方程f(x)=0的一个近似根，将的一个近似根，将f(x)在在xk处作处作Taylor展开，展开，以线性方程以线性方程代替非线性方程代替非线性方程f(x)=0,若若，则其解为，则其解为若若x为二元变量，则 其解为为二元变量，则 其解为其中其中J(x)为为Jacobi矩阵，即矩阵，即2预备知识：非线性方程(组)的求解()()()0kkkf xfxxx+=()()()()kkkf xf xfxxx+()0kfx1()(0,1,2,)()kkkkf xxxkfx+=L111122221212()nnnnnnfffxxxfff

2、xxxJ xfffxxx=LLMMOML11()()kkkkxxJ xf x+=3()()()()()()()()()00000001100012 (),0 fxxfxfxxyfxfxxxyxxxxfxfxfxxx=以为斜率做过点的直线，即作在点 的切线方程令则得此切线与 轴的交点，即再作的 处的切线，得交点，逐步逼近方程的根，如右图2.Newton迭代法的几何意义迭代法的几何意义3.Newton迭代法的程序（以方程组为例，程序名：迭代法的程序（以方程组为例，程序名：Newtons.R）Newtons=function(fun,x,ep=1e-5,it_max=100)index=0;k=1w

3、hile(k=it_max)x1=x;obj=fun(x);x=x-solve(obj$J,obj$f);norm=sqrt(x-x1)%*%(x-x1)if(norm model Newtons(model,c(1,1)$root#方程根的近似值方程根的近似值F1 F2 0.5000000 0.8660254$it#迭代次数迭代次数1 5$index#指标为指标为1时表明计算成功，为时表明计算成功，为0时表明计算失败时表明计算失败1 1$FunVal#在近似点处的函数值，接近于在近似点处的函数值，接近于0F1.F1 F2.F1 6.661338e-16 4.440892e-165221122

4、2212100.50FxxFxx=+=+=第二种方法：一元方程的根的求解，可使用函数第二种方法：一元方程的根的求解，可使用函数uniroot()；方程组的根的求解，可使用程序包方程组的根的求解，可使用程序包rootSolve中的中的multiroot()函数求解。函数求解。(要注意的是，安装程序包后要用函数要注意的是，安装程序包后要用函数library()载入至内存载入至内存)句法：句法：uniroot(f,interval,lower=min(interval),upper=max(interval),tol=.Machine$double.eps0.25,maxiter=1000,.)其中

5、，其中，f为所求方程的函数；为所求方程的函数；interval是包含有方程根的初始区间；是包含有方程根的初始区间；lower是初始区间的左端点；是初始区间的左端点；upper是初始区间的右端点；是初始区间的右端点；tol是计算精度；是计算精度；maxiter是最大迭代次数（缺省值为是最大迭代次数（缺省值为1000）6multiroot()函数的用法函数的用法句法：句法：multiroot(f,start,maxiter=100,rtol=1e-6,atol=1e-8,ctol=1e-8,useFortran=TRUE,positive=FALSE,jacfunc=NULL,jactype=fu

6、llint,verbose=FALSE,bandup=1,banddown=1,.)其中，其中，f为所求方程的函数，用向量表示；为所求方程的函数，用向量表示；start为初始点；为初始点；ctol为计为计算的精度，若两次迭代的值小于这个精度时，则计算结束。算的精度，若两次迭代的值小于这个精度时，则计算结束。model ss ss7$root 1 0.5000000 0.8660254$f.rootF1 F2 2.323138e-08 2.323308e-08$iter1 5$estim.precis1 2.323223e-08点估计设总体设总体X分布由有限个未知参数分布由有限个未知参数=(1,

7、2,m)T决定，记为决定，记为F，称，称可能取值的范围为参数空间可能取值的范围为参数空间。为了估计总体为了估计总体X的参数，就要从总体的参数，就要从总体X中抽出一个样本中抽出一个样本X1，X1，Xn（即（即X1，X1，Xn是独立同分布的），它们的共同分布就是总体分是独立同分布的），它们的共同分布就是总体分布布f(x;)。为了估计总体参数，需要构造适当的统计量。为了估计总体参数，需要构造适当的统计量(X1，X1，Xn)，它只依赖于样本，不依赖于未知参数。，它只依赖于样本，不依赖于未知参数。常用的点估计方法有：矩法、极大似然法、贝叶斯估计和最小二乘常用的点估计方法有：矩法、极大似然法、贝叶斯估计和

8、最小二乘估计等。估计等。8一一、矩法矩法假设总体假设总体X的的k阶原点矩存在，令总体的阶原点矩存在，令总体的k阶原点矩等于样本的阶原点矩等于样本的k阶阶原点矩，即原点矩，即解上述方程组，得到解上述方程组，得到作为作为1,2,m的估计，则称为的估计，则称为的矩法估计量。的矩法估计量。更一般的说法为：利用样本的数字特征作为总体的数字特征的估计。更一般的说法为：利用样本的数字特征作为总体的数字特征的估计。例如，无论总体服从什么分布，其均值和方差分别为例如，无论总体服从什么分布，其均值和方差分别为，。使用矩法估计均值和方差，列出方程组。使用矩法估计均值和方差，列出方程组解得解得要注意的是：方差的矩估计

9、不等于样本方差要注意的是：方差的矩估计不等于样本方差S2，而是，而是922111111(),(),()nnnkkiiiiiiE Xx E XxE Xxnnn=L12,m L()E X=12222211()1()()()niiniiE XxxnE XVar XE Xxn=+=+=22221111()nniiiixxxxxnn=22()E XE X=221nSn=例例4.4 设总体设总体X是区间是区间a,b上的均匀分布，其中上的均匀分布，其中a,b是未知参数，是未知参数，X1，X2，Xn是总体是总体X的一个样本，试用矩法估计参数的一个样本，试用矩法估计参数a和和b。解：使用一阶原点矩估计均值，二阶

10、原点矩估计方差，即解：使用一阶原点矩估计均值，二阶原点矩估计方差，即解方程组得解方程组得用函数用函数multiroot()求上述问题求上述问题 x=c(4,5,2,9,5,1,6,4,6,2)m1=mean(x)#均均值值 m2=sum(x-mean(x)2)/10#方方差差 model multiroot(f=model,start=c(0,10),m1=m1,m2=m2)1012221()2()1()()12niiabE XxMbaVar XxxMn=+=2233axMbxM=+例例4.5 设总体设总体X服从二项分布服从二项分布B(k,p),其中其中k,p是未知参数，是未知参数，X1，X1

11、，Xn是总体是总体X的一个样本，求参数的一个样本，求参数k,p的矩估计。的矩估计。解 建立方程组解 建立方程组用函数用函数multiroot()求上述问题求上述问题 x m1=mean(x)m2=sum(x-mean(x)2)/100 model c(F1=x1*x2-m1,F2=x1*x2*(1-x2)-m2)multiroot(f=model,start=c(20,1),m1=m1,m2=m2)11120(1)0kpMkppM=$root1 19.8161037 0.7297095$f.rootF1 F2 1.015563e-09-2.653340e-09$iter1 5$estim.pr

12、ecis1 1.834451e-09二二、极大、极大似似然然法法极大似然法充分利用了分布函数的信息，克服了矩法的某些不足。极大似然法充分利用了分布函数的信息，克服了矩法的某些不足。记概率密度函数（离散时为分布律）为记概率密度函数（离散时为分布律）为f(x;)，X1，X1，Xn为来为来自总体自总体X的样本，则称下面的函数的样本，则称下面的函数为为的似然函数。的似然函数。使得使得L(;x)最大的一个（或一组）最大的一个（或一组）值称为参数值称为参数的极大似然估计的极大似然估计（MLE），即），即称为参数的极大似然估计量称为参数的极大似然估计量12111(;)(,;,)(;)nlniiLxLxxf

13、x=LL(;)sup(;)LxLx=例例4.6 设总体设总体X服从正态分布服从正态分布N(,2)，其中，其中,2是未知参数，是未知参数，X1，X1，Xn是总体是总体X的一个样本，试用极大似然法估计参数的一个样本，试用极大似然法估计参数(,2)。解解:正态分布的似然函数为正态分布的似然函数为对数似然函数为对数似然函数为求偏导得到对数似然函数求偏导得到对数似然函数解此似然方程组得到解此似然方程组得到13222222111(,;)(;,)(2)exp()2nnniiiiLxf xx =222211ln(,;)ln(2)()22niinLxx=2221222241ln(,;)1()0ln(,;)1()

14、022niiniiLxxLxnx =+=221111,()nniiiixxxxnn=用函数用函数multiroot()求上述问题求上述问题 x=rnorm(10)model multiroot(f=model,start=c(0,1),x=x)$root1 0.2520305 1.1443505$f.rootF1 F2-1.110223e-16 9.320154e-07$iter1 5$estim.precis1 4.660077e-0714例例4.10 设总体设总体X服从服从Cauchy分布分布,其概率密度函数为其概率密度函数为其中其中是未知参数，是未知参数，X1，X1，Xn是总体是总体X的

15、一个样本，求的一个样本，求的极大似的极大似然估计。然估计。解：解：Cauchy分布的似然函数为分布的似然函数为对数似然函数为对数似然函数为求偏导得到对数似然函数为求偏导得到对数似然函数为1521(;),1()f xxx=x f out out$root1 1.010628$f.root1-1.143499e-05$iter1 5$estim.prec1 7.229947e-0516无约束问题的求解，可使用函数无约束问题的求解，可使用函数optimize()或或optimise()句法：句法：optimize(f=,interval=,lower=min(interval),upper=max(

16、interval),maximum=FALSE,tol=.Machine$double.eps0.25,.)其中，其中，f是求极小的目标函数；是求极小的目标函数；interval是包含有极小的初始区间；是包含有极小的初始区间；lower是初始区间的左端点；是初始区间的左端点；upper是初始区间的右端点；是初始区间的右端点；maximum是是逻辑变量，若为逻辑变量，若为FALSE（缺省值）表示求函数的极小值，否则表示求函（缺省值）表示求函数的极小值，否则表示求函数的极大值；数的极大值；tol是计算精度。是计算精度。loglike out2 out2$minimum1 1.010627$objective#目目标函数在近似解处的函数值标函数在近似解处的函数值1 1435.104另，求多元函数的无约束优化问题可使用另，求多元函数的无约束优化问题可使用nlm()函数，将在后面有函数，将在后面有关非线性回归时详细讲述。关非线性回归时详细讲述。17