《应用数理统计Cha.ppt》由会员分享，可在线阅读，更多相关《应用数理统计Cha.ppt（25页珍藏版）》请在装配图网上搜索。
1、1,第三章 点估计（三）, 3.1 预备 3.2 矩估计 3.3 极大似然估计 3.5 Cramer-Rao不等式,2, 3.3 极大似然估计,思想方法：一次试验就出现的事件有较大的概率,例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球,现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球.,问: 所取的球来自哪一箱?,答: 第一箱.,极大似然估计就是通过样本观察值 求得总体的 分布参数,使得 取值为 的概率最大.,3,似然函数,似然函数的定义,4,(Likelihood function).,5,似然函数的定义,6,XP (),
2、 即,当样本X 为 ( x1, x2 , , xn )时，求样本的 似然函数.,例,解：,7,似然函数和概率函数是同一表达式,但含义不同.,注:,概率函数:,将 固定, 将其看成定义在样本空间 上的函数；,似然函数:,将 x 固定, 将其看成定义在参数空间 上的函数；,称 lnL( ) 为对数似然函数,记为 l ( ; x ).,对数似然函数:,8,引例,设罐子里装有黑球和红球，它们的比例是 1:3,但不知道是黑球多还是红球多，则从中抽出一球为黑球的概率为 或 .,现从罐子里有放回地抽出 n 个球，试根据样本数据，估计 的值为 ，还是 ？,解：,令Xi 表示第i 次抽球的结果，即,9,任务：,
3、10,结论：,11,问题,结论：,若,这正是“极大似然”一词的由来.,12,如果某统计量 满足 则称 是 的极大似然估计 (Maximum Likelihood Estimate)，简记为MLE。,称 lnL( ) 为对数似然函数,记为 l ( ; x ). 由于很多分布族的p.d.f.中含有x的指数形式,人们通常习惯于由对数似然函数lnL( )出发寻找 的极大似然估计.,极大似然估计,定义,注:,13,当L( )是可微函数时，求导是求极大似然估计最常用的方法. 因为L( )与lnL( )有相同的极值点，一般对lnL( )求导更加简单些.,极大似然估计的求法,微分法；,定义法.,微分法,的解.
4、,14,定义法,当似然函数L( )有不连续点时，似然方程没有意义，须从定义出发求极大似然估计.,如果 是 的极大似然估计，则对任一函数 g( )，其极大似然估计为 .,性质,该性质称为极大似然估计的不变性.,15,例,解：,(1) 似然函数为,对数似然方程为,16,(2) 根据极大似然估计的不变性，有,例,解：,(1) 似然函数为,对数似然函数为,17,对数似然方程为,(2) 根据极大似然估计的不变性，有,18,对正态总体N(, 2), =(, 2)是二维参 数，设有样本x1, x2 , , xn，求 的MLE.,例,解：,似然函数与对数似然函数分别为,19,将 l(, 2) 分别关于两个分量
5、求偏导并令其为0, 即得到似然方程组,解此方程组，可得 与 2的MLE为,20,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。,设x1, x2 , , xn是来自均匀总体U(0, )的样本,试求 的极大似然估计.,例,解：,似然函数为,要使L( )达到最大，要满足两个条件:,(1)示性函数取值为1;,(2) 1/ n 取到最大.,21, 取到最小.,设x1, x2 , , xn是来自均匀总体U(0, )的样本,试求 的极大似然估计.,例,解：,似然函数为,要使L( )达到最大，要满足两个条件:,(1)示性函数取值为1;,(2) 1/ n 取到最大.,22,(1) 标准差 ；(2) 概率,设x1 , x2 , , xn是来自正态总体N( , 2) 的样本，求如下参数的MLE:,例,解：,已知 和 2 的极大似然估计为,由不变性可得如下参数的极大似然估计,(1),(2),23,练习,24,3.3 作业,25,
应用数理统计Cha.ppt
