极大似然估计法

《概率论与数理统计》典型教案 教学内容：极大似然估计法 教学目的： 通过本节内容的教学，使学生： 1、 明确极大似然估计法是在总体分布类型已知的情况下的一种常用 的参数估计方法； 2、 理解极大似然思想； 3、 掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似 然估计值. 教学重点： 1、 对极大似然思想阐述； 2、 极大似然估计值的求解. 教学难点： 对不能通过求导方法获得极大似然估计的值的确定. 教学时数：2学时. 教学过程： 引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过.只 听一声枪响，野兔应声到下,如果要你推测，这一发命中的子弹是谁打的？ 你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中 的概率，看来这一枪是猎人射中的. 这个例子所作的推断就体现了极大似然法的基本思想. 一、极大似然思想 一般地说，事件A与参数9 e0有关,0取值不同，则P (A)也不同.若 A发生了，则认为此时的0值就是0的估计值.这就是极大似然思想.看 一例子:例1、设袋中装有许多黑、白球，不同颜色球的数量比为3:1, 试设计一种方法，估计任取一球为黑球的概率P . 分析：易知P的值无非是1/4或3/4.为估计P的值，现从袋中有放 回地任取3只球，用X表示其中的黑球数，则X〜b(3,P) .按极大似然 估计思想，对P的取值进行估计. 解:对P的不同取值,X取k = 0,1,2,3的概率可列表如下： X 0 1 2 3 P = 14 27 / /64 27/ .,'64 964 /64 P = 34 ,%4 964 27 / .'64 27 / ,64 , I 蚪,k = 0,1 故根据极大似然思想即知：P = E4 I 亳,k = 2,3 在上面的例子中,P是分布中的参数，它只能取两个值：1/4或3/4, 需要通过抽样来决定分布中参数究竟是1/4还是3/4.在给定了样本观测 值后去计算该样本出现的概率，这一概率依赖于P的值，为此需要用1/4、 3/4分别去计算此概率，在相对比较之下，哪个概率大，则P就最象那个. 二、似然函数与极大似然估计 1、离散分布场合： 设总体X是离散型随机变量，其概率函数为p(x;0 )，其中0是未知参 数.设X ,X，…,X为取自总体X的样本.X ,X，…,X的联合概率函数 1 2 n 1 2 n 为Hp(X.;9 )，这里，0是常量，X],X ,•-，X是变量. i=1 若我们已知样本取的值是X , X，…,X，则事件 1 2 n {X = x ,X = x，…,X = x }发生的概率为Hp(x ;0) .这一概率随0的 112 2 n n i i=1 值而变化.从直观上来看，既然样本值X ,X，…,X出现了，它们出现的 12 n 概率相对来说应比较大，应使Hp(x「0)取比较大的值.换句话说，0应 i=1 使样本值x ,x，…,x的出现具有最大的概率.将上式看作0的函数，并用 12 n L(0)表示,就有： L(0) = L(x ,x，…，x ;0)= n p( x ；6) (i) 1 2 n i i=1 称L(9)为似然函数.极大似然估计法就是在参数0的可能取值范围0内， - ... . . . . .... ........ 选取使L(0)达到最大的参数值0 ,作为参数0的估计值.即取0，使 T ZA X T / Ax T / r\\ / O \ L(0) = L(x ,x，…，x ;0) = maxL(x ,x，…，x ;0) (2 ) 1 2 n 0e0 1 2 n 因此，求总体参数0的极大似然估计值的问题就是求似然函数L(0 ) 的最大值问题.这可通过解下面的方程竺°) = 0 (3) d0 来解决.因为lnL是L的增函数，所以lnL与L在0的同一值处取得最大 值.我们称l (0) = ln L(0)为对数似然函数.因此，常将方程(3)写成： d 血 L(0) = ° (4) d0 方程(4)称为似然方程.解方程(3)或(4)得到希就是参数0的 极大似然估计值. 如果方程(4)有唯一解，又能验证它是一个极大值点，则它必是 所求的极大似然估计值.有时，直接用(4)式行不通，这时必须回到 原始定义(2 )进行求解. 2、连续分布场合： 设总体X是连续离散型随机变量，其概率密度函数为f (x;0 )，若取 得样本观察值为x , x，…,x，则因为随机点(X , X，…,X )取值为 1 2 n 1 2 n (x ,x , ...,x )时联合密度函数值为Hf (x ;0 ) .所以，按极大似然法，应 12 n i i=1 选择0的值使此概率达到最大.我们取似然函数为 L(0) = H f (x ;0)，再按前述方法求参数0的极大似然估计值. i i =1 三、求极大似然估计的方法 1、可通过求导获得极大似然估计： 当函数关于参数可导时，常可通过求导方法来获得似然函数极大值 对应的参数值. 例2、设某工序生产的产品的不合格率为p，抽〃个产品作检验，发 现有T个不合格，试求p的极大似然估计. 分析：设X是抽查一个产品时的不合格品个数，则X服从参数为p 的二点分布b(1,p) .抽查n个产品，则得样本X 1,X2,…,X，其观察值为 x ,x，…,x，假如样本有T个不合格，即表示X ,x，…,x中有T个取值为 1 2 n 1 2 n 1，n - T个取值为0.按离散分布场合方法，求p的极大似然估计. 解：(1)写出似然函数：L(p) = Flpx「(1 - P)1-xi i=1 (2) 对L( p)取对数，得对数似然函数l (p): l(p) = X[x Inp + (1 - x )ln(1 - p)] = nln(1 - p) + Xx [Inp -ln(1 - p)] i = 1 i = 1 (3) 由于l (p)对p的导数存在，故将l (p)对p求导，令其为0，得 似然方程：些=-二 + Xx (1 + 工)=-二 + — Xx = 0 dp 1 - p = i p 1 - p 1 - p p (1 - p) = i 1 (4) 解似然方程得：p = —X x. - x i =1 (5) 经验证，在p = x时，到0 < 0,这表明p = x可使似然函数 dp 2 达到最大 (6) 上述过程对任一样本观测值都成立，故用样本代替观察值便得 p的极大似然估计为：p = X T …. 将观察值代入，可得p的极大似然估计值为：p = x = 一，其中 n 5« T =乙 x . i=1 若总体X的分布中含有多个未知参数6 ,6 ,...,6时，似然函数L是 1 2 k 这些参数的多元函数L(6 ,.,6k) .代替方程(3),我们有方程组 竺四=0(i = 1,2,…,k)，由这个方程组解得66 ,66，…,66分别是参数 36 1 2 k i 6 ,6 ,.,6 的极大似然估计值． 12 k 例3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 N(四,。2)，其中日q2未知.为估计日,c2，从中随机抽取n = 100根轴， 测得其偏差为x ,x ,...,x .试求四,C2的极大似然估计. 1 2 100 分析：显然，该问题是求解含有多个(两个)未知参数的极大似然 估计问题.通过建立关于未知参数四Q 2的似然方程组，从而进行求解. 解：(1)写出似然函数： X 0-叩 n 1 -(xi ~^)2 n _ L(u,c2) = R e 2c2 = (2兀c2) 2e 2c2 2e i=1 (2)写出对数似然函数： 一 n 一 _ 1 t 2 l(u,c2) = _—ln(2愈 2)_ U (x _u) 2 2c 2 i i=1 (3)将l (u ,c 2)分别对u、c 2求偏导，并令它们都为0,得似然方 *12 二 £ (X -p )2 =0 6u a 2 i i=1 da 2 初(四，a2)_ n +上 £ )2 = 0 2a 2 2a 4 i i=1 (4) 解似然方程组得: -一 '一 1 项/ 一、一 pi = X , a 2 =乙(X - x)2 n i=1 (5) 经验证p,a 2使l(p,a 2)达到极大， (6) 上述过程对一切样本观察值成立，故用样本代替观察值，便得 四,a 2的极大似然估计分别为： • 一 . 1 V ― p = X , a 2 = 乙(X — X)2 = S2 . n i n i=1 2、不可通过求导方法获得极大似然估计： 当似然函数的非零区域与未知参数有关时，通常无法通过解似然方 程来获得参数的极大似然估计，这时可从定义(2)出发直接求£(9)的 极大值点. 例4、设总体X服从均匀分布U(0,9),从中获得容量为n的样本 X ,X，…,X，其观测值为X ,X，…,X，试求9的极大似然估计. 1 2 n 1 2 n 分析：当写出其似然函数L(9)时，我们会发现L(9)的非零区域与9有 关,因而无法用求导方法来获得9的极大似然估计，从而转向定义(2) 直接求L(9)的极大值. 解：写出似然函数： L(9) = ]9-n,0 X(1) %)展 1 0,其它场合 为使L(9 )达到极大，就必须使9尽可能小，但是9不能小于七〃)，因而 0取x(n)时使L(e)达到极大，故0的极大似然估计为： 0 = X . (n) 进一步，可讨论估计0的无偏性： 由于总体X〜U(0,0)，其密度函数与分布函数分别为： —,0 < x <0 0， 0,其它 '0, x < 0 F(x) = J-X,0vx<0，从而0 = X的概率密度函数 0 (n) 、1, X >0 为：p = n[F(y)]〃-1 p(y) = ^^,0 < y <0 0 0 n E(0) = E(X ) = f0 yp.(y)dy = J0^^-dy = -^0 湘 (n) 0 0 0 0 n n +1 一 ... 人 .. ... . … 这说明0的极大似然估计0= X 不是0的无偏估计，但对0作一修正可 (n) 得0的无偏估计为：0 = n * 1 X . 1 n (n) 通过修正获得未知参数的无偏估计，这是一种常用的方法.在二次 世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编 号作一修正便获得了德国生产能力的无偏估计. 综上，可得求极大似然估计值的一般步骤. 四、求极大似然估计的一般步骤 1、 由总体分布导出样本的联合概率函数(或联合密度)； 2、 把样本联合概率函数(或联合密度)中自变量看成已知常数，而 把参数0看作自变量，得到似然函数L(0)； 3、 求似然函数L(0)的最大值点(常转化为求对数似然函数l(0)的最 大值点)； 4、 在最大值点的表达式中，用样本值代入就得参数的极大似然估计 值． 五、极大似然估计的不变性 求未知参数0的某种函数g(9)的极大似然估计可用极大似然估计的 不变原则，证明从略. 定理(不变原则)设&是0的极大似然估计,g(0)是0的连续函数， .. ・、• 一 - 人 则g(0)的极大似然估计为g(0). 例5、设某元件失效时间服从参数为人的指数分布,其密度函数为 f (x；人)=",X > 0 ,人未知.现从中抽取了 n个元件测得其失效时间为 X ,X , ,X，试求人及平均寿命的极大似然估计. 1 2 n 分析:可先求人的极大似然估计，由于元件的平均寿命即为X的期望 值，在指数分布场合，有E(X) = L,它是人的函数，故可用极大似然估计 力 的不变原则,求其极大似然估计. y\ 解：(1)写出似然函数:L(k) =H Xe卞=Xne危」 i=1 (2)取对数得对数似然函数：l(X) = nlnX-xXx i i=1 (3)将i (X)对x求导得似然方程为:哗西=n _£ dx X (4)解似然方程得：尤=n 乎x X i i=1 经验证，尤能使l(X)达到最大，由于上述过程对一切样本观察值成 人 1 立，故X的极大似然估计为:人=1 X 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为: , 、 1 — E (X) = = X . 力 五、小结 1、 极大似然估计的思想； 2、 求解未知参数极大似然估计的一般步骤； 3、 极大似然估计的不变原则. 五、作业 见参考文献1的第278页第4,5, 6页. 参考文献： 1、 苏均和主编:概率论与数理统计,上海财经大学出版社.1999年1版. 2、 茆诗松等编著：概率论与数理统计，中国统计出版社.1999年1版. 3、 魏振军编：概率论与数理统计三十三讲，中国统计出版社.2000年1版. 4、 唐生强主编：概率论与数理统计复习指导，科学出版社.1999年1版.