最大似然估计及三大检验资料

《最大似然估计及三大检验资料》由会员分享，可在线阅读，更多相关《最大似然估计及三大检验资料（29页珍藏版）》请在装配图网上搜索。

1、第二章 线性回归模型回顾与拓展 （12-15 学时）第四节三大检验（LR Wald LM）一、极大似然估计法（ ML ）（一）极大似然原理假设对于给定样本Y,X，其联合概率分布存在，f（Y,X;g）。将该联合概率 密度函数视为未知参数 g的函数，则f（Y, X; g）称为似然函数（Likelihood Function）。极大似然原理就是寻找未知参数g的估计g，使得似然函数达到最大, 或者说寻找使得样本Y, X 出现的概率最大g。（二）条件似然函数VS无条件似然函数f（Y, X;g）二 f（YX 询）f （X;若0与申没有关系，则最大化无条件似然函数f（Y,X;g）等价于分别最大化 条件似然函

2、数f （YX ;0）和边际似然函数f （X邓），从而0的最大似然估计就是 最大化条件似然函数f（YX ;0 ）。（三）线性回归模型最大似然估计Y = X B + u， u T N（0,b 2I）2c 2L(Y, X;卩,c2) = (2兀c2)-n exp-(Y X)(Y X)对数似然函数：2c2心 LnL 一nLn2-52 - (Y - X卩X卩)22于是a；i入=-(-2 X Y + 2 X X 卩)=0 a|32c 2aln 1h =-+(Y - X p y(Y - X p) = 0 、0c 22c 2 2c 4得到B 二(X X)-1X YML入1,g 2 二一e eML n（三）得分

3、（Score ）和信息矩阵（In formation Matrix ）台祐二f （6; Y, X）称为得分;ai1ai66ai _2a6aid6k得分向量；Gradient)海瑟矩阵（Hessian Matrix） : H _ 一6666信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。但有些时候 可能会遇到非样本信息对未知参数的约束限制（如生产函数中的规模报酬不 变等）。在这种情况下，我们就可以采用拉格朗日估计法。对于线性模型（1）,若其参数P具有某种线性等式约束：H0 _0（6）其中H是mx k矩阵（m 9 ,9 0等），从总体

4、中抽取一个容量为n的样本，确定 0 0 1 0 0 0一个统计量及其分布，决定一个拒绝域W，使得p（W） =a，或者对样本观测数 90据X，P（X G W） o a即是显著性水平，也是犯第一类错误的概率。90既然犯两类错误的概率不能同时被控制，所以通常的做法是限制犯第一类错 误的概率，使犯第二类错误的概率尽可能的小，即在P （X G W） a9 G090的条件下，使得P（X G W），9 G0-090达到最大。其中PCX g W）表示总体分布为F（x,9 ）时，事件X g W的概率，0为零假设集合(只含一个点时成为简单原假设，否则称为复杂原假设)。0-0 00则表示备择假设集合，为了方便描述，

5、我们定义p(o)=P(X e W)称(0)为该检验的势函数。当0 e0时，(0)是犯第一类错误的概率；而当00 e0 -0时，1-卩(0)是犯第二类错误的概率。0于是 一个好的检验方程是：maxp(0),0 e0 -02os.t p(0) a,0 e00为了理论上的深入研究和表达方便，我们常用函数来表示检验法。定义函数1, x eWp(x)=2 00, x 笑 W它是拒绝域W的示性函数，仅取0、1两个值。反之如果一个函数中Q(x)只取0 或1，则W二x IQ (x)二1可作为一个拒绝域。也就是说，W和之间建立了一种 对立关系，给出一个就等价于给出了一个检验法，(我们称为检验函数)。那 么，对于

6、检验法的势函数为P(0)二 E0Q (X)十(x)dF (x, 0)于是，一个好的检验法又可写为maxp (0),0 e0 -02 0s.t E(x) 0，使得(x)满足：/、1,当p(x,9 ) Kp(x,9 )o,当p(x,9 ) K0,九(x) K这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定 是似然比检验法。而大量的文献都已证明了传统假设检验中的Z检验，t检验，X 2 检验， F 检验都是最优势检验。于是，我们可以放心地回到这部份的主题计量经济模型的检验方法。二、一般线性框架下的假设检验多元回归模型Y = P +PX +X +u的统计检验通常包括以下三种情0 1

7、 1 k k况：（1）单个系数的显著性检验；（2）若干个回归系数的联合检验；（3）回归系数线性组合的检验。例如：考虑下面这些典型假设的例子。10、H : 0二0。即回归元X对Y没有影响，这是最常见的参数显著性检验。0 i i2o、H : 0 = 0 。0是某一具体值。例如0表示价格弹性，我们也许希0 ii 0i 0i望它是-1。3o、H : 0+0 = 1。这里的0表示生产函数中资本和劳动的弹性，此时检0 1 2验是否规模报酬不变。4o、H : 0 =0或0 -0 = 0。即检验X和X的系数是否相同。02323235o、H : 0 =0 = 0 = 0。即检验全部回归元都对Y没有影响。0 1

8、2 k60、 H :0 =0。 这里的含义是把0 向量分为两个子向量0 和0 ，分别 0 II I II含有k和k个元素。检验H : 0 = 0就是检验某一些回归元X （ X的一部分）1 2 0 II II对 Y 没有影响。诸如以上的情形都可归于一般的线性框架：R0 = r （注意：这里0 = （0，0 ）1k其中R是由已知常数构成的qxk矩阵（q k），r是各元素为常数（一般是0或1）的qx1矩阵。于是，对于上述情形，具体的我们有：（i）R = （0 0）,r = 0.（q = 1）（ii）R = （010）,r = 0 .（q = 1）i0（iii）R = （1,1,00）, r = 1.

9、（ q = 1）（iv）R = （0,1,1,0）,r = 0.（q = 1）(v) R 二 I , r 二 O.(q 二 k)k(0 0 )(vi ) R 二,r 二 0.(q 二 k )0 I2Ik2所以，上述问题的统一假设是：H : Rp- r 二 00为了检验这个假设，应先估计出p，计算Rp-r，若其值较“小”，(接近于0),则不应否定原假设;而如果其值较大，那么应对H提出怀疑。为此我们先考察Rp0的分布。对于OLS的p，我们知道p N(PQ2(XX)-i)。(注意：这里的X是所有解释变量观测值组成的nxk矩阵不含全是1的第一列)而E (Rp)二RBVar (Rp) = E R( p

10、p )(p p )，R = RVarp R=mR( X X)-1R所以，Rp N(RpQ2R(XX)-iR)于是，在H :Rp-r二0成立的条件下,0Rp- r N (0Q 2 R( X X )-1 R)那么，由有关的数理统计知识可知：1)(Rp- r )Q2 R( XX )-1 R-i( Rp- r) / 2(q)此外，我们还可以证明eeQ 2咒 2(n k 一 1)残差平方和的分布)。因此，由上述两式，得到在H下的检验统计量:02)(廉-r讥R(xX )-町1(廉-r) q F(q, n _ k -1) ee (n - k -1)(注意：ee (n k 1) = o 2) 于是，检验的程序

11、是，如果算出的F值大于某个事先选定的临界值，则拒绝H。0具体描述如下：10、H : 0 = 00i此时R0为0。R(XX)-1R为c。即(XX)-1主对角线上的第i个元素(注：i ii(XX)-1是一 K阶对称方阵)。因此：0 20 2F = 1 =沽F (1彳k 1)g 2cVarpii i取平方根t = 耳 t(n - k -1)，这就是传统的关于回归参数显著性的t检验法。 sepi20、 H :p = p0 i i 0p - p类似 10，这里 t = t(n - k -1)sepi此时也可以计算，比如p的95%置信区间，而不用检验关于p的具体假设，这个ii置信区间是P 土t Sep。i

12、 0.025 i30、H : 0 +0 = 10 1 2Rp给出了两个估计系数的和P +0，而此时R(XX)-1 R = c + 2c + c (注：1 2 11 12 22(XX)-1 = (c )，R=(1,1,0)。那么ijR( X X )-1 R -1；=G 2(c + 2c + c )-1 = Varp + 2Cov(p , p ) + Varp -1 = Var(p + p )-1 g 2 11 12 22 1 1 2 2 1 2于是检验统计量为：B +B -1/71、t =12 t (n k 1)JVar(卩 +卩)或者，也可以计算P +P的95%置信区间(B +0 ) 土 t

13、jiVar (B +B )12120.025 丿1 240、H :B = B0 2 3类似30 ，可推得此时的检验统计量为八八t =匕 + B 3 t (n k 1)JVar(P P )235o、H : P = P =P = 0012k此时R = I , r=0, q=k,那么kF = P XX B k = ESSk 口 f (k, n k 1)ee (n k 1) RSS n k 1这就是我们熟悉的关于回归方程显著性的 F 检验。60 、 H : P = 00 II这里对应于P=fP 11 o把X分块为X =(X X )，可以证明(过程略)巴丿1 11此时F = (e1e1 ee) k F(

14、k ,n k 1)(3)ee； (n k 1)2其中ee是Y对X做线性回归的残差平方和。e e是Y对所有X回归的rss。1 1I通过上述示例,我们看到一般线性框架下的假设检验,它涵盖了传统计量经 济分析中的统计检验方法。有了它,我们可以方便地实现许多实证问题中线性意 义下的统计检验。其重要性是显而易见的。三、一般线性假设检验的另一种形式上面第60情况出现的统计量就是这里所说的另一种形式。显然 50 是60的特 殊情况，而事实上我们还将看到其它的情况也可归于60 。另外，这里还有一个问 题，即类似于第30种情况的检验与上一章所讲的带约束的最小二乘估计的关系是 什么？也就是说，对未知参数有约束限制

15、的模型进行回归后的结果，与对没有约 束限制的模型回归后的参数检验的结果是否一致？下面的具体分析就回答了这 一问题。事实上，无论50 还是60都可以认为用了两种不同回归的结果。第一种回归可看作有约束的回归，或者说H中的约束条件实际上是估计方程施加的。即5o中 0有约束回归是将X ,X，,X从回归式中省略掉，或等价地说，令P , P，,P为1 2 K 1 2 k零；在6o中，有约束的回归只用了前面一部分变量X ( K +1 -K个)。而5o、6oI2两种情况的第二种回归是无约束回归，它们都用了所有的变量X。由于无约束模 型的残差平方和RSS是ee，有约束模型的残差平方和RSS记为ee，因此对某*些

16、P的显著性检验也就是问，对应的X加入模型后，残差平方和RSS是否显著 ii减少。具体到第3。种情形，考虑离差形式的回归方程y = B x +p x + e1 1 2 2对其施加约束P +P二1，代入回归方程 y二B x + (1-p )x + e1 2 1 1 1 2或(y x )二P (x x ) + e2 1 1 2由变量(y x )对(x x )的回归便可得到P的受约束估计值，而这个回归的2 1 2 1RSS就是有约束的RSS，即ee。*实际上这就是我们前面讲到的带约束条件的最小二乘估计。一般地，在约束条件R0二r下，求使RSS达到最小的P，构造拉格朗日函*数L = (Y-Xp )(Y-

17、Xp ) + (RB -r)，运用前面所讲的方法可得到(过程略)* * *p =p-(XX )-1 RR( XX )-1 R-i(Rp r)(4)*其中P是无约束的OLS估计量，而受约束回归的残差为e = Y-Xp = Y-Xp-X(p -p) = e-X(p -p)* * * *将其转置，再与其自身相乘，有e，e = ee + (p -p)XX(p -p)* * * *再把(4)式的 p -p 代入并化简可得*ee ee = (Rp- r) R( XX )-1 R-i( Rp- r)(5)*这与(2)式中除q外的分子完全相同，也就得到了检验假设H : Rp = r的统计 0量的另一种形式为

18、F =_q F(q,n-k-1)(6)e e； (n 一 k 一 1)这也恰好说明前面所述的 6 种检验的情形都可以用上述方式进行，即拟合一个受约束的回归，用受约束模型的残差平方和与无约束模型的残差平方和之差ee - ee的大小(或记为RSS -RSS )来推断原假设是否成立。这也就是说一* *RU般的线性假设情形都是60的特例，或者(6)式的 F 统计量是普遍适应于一般线 性假设的一种重要检验方法。即(RSS - RSS ) qRURSS (n - k -1)U F(q,n-k-1)其中RSS和RSS分别是受约束模型和无约束模型的残差平方和，q是约束条件RU个数。同时，这也就回答了本段开始的

19、问题，即，对于未知参数有约束限制的模 型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果应该是 一致的。四、似然比检验（ LR ）如本节开头所述，在统计推断中，古典检验方法是建立在似然比的基础之上 的。由此可见似然比检验的重要性（当然它的实用性也会在应用中显现出来）。 一般而言，似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数 的最大值的比率。上一节我们得到了线性回归模型参数的极大似然估计量（上一 节（4）式和（5）式）p = （X X ）-1 X YML16 2 二（Y - X p y（Y - X p ）ML n ML ML它们在无约束条件下，使似然函数最大化。把它

20、们代入似然函数可得无约束 的最大似然值（推导过程略）L（p,62）二常数（ee）-n2（7）（式中的常数与模型中的任何参数无关，ee是残差平方和）另一方面，如果在约束条件RP二r下使似然函数最大化，令p和6 2表示所 导致的估计值，那么L（P,62）便是约束条件下的最大似然值，有约束的最大值当 然不会超过无约束的最大值，但如果约束条件“有效”，有约束的最大值应当“逼 近”无约束的最大值，这正是似然比检验的基本思路。似然比定义为九二 L（卩,62）L（ p, 6 2）显然，0 x 1。如果原假设为真，我们会认为九的值接近1。或者说，如果 九太小，我们则应该拒绝原假设。似然比检验的建立就是要使得当

21、X k时，拒 绝原假设。即P（0xkH ） =a（为显著性水平）。在某些情况下，拒绝域 0xZ 2 （q），其中咒2 （q）为卡方分布的1 a下侧分位数。1a1a前面已得到无约束的最大似然值L（0,&2），为了保证LR的计算，我们还需要得出约束条件下的最大似然值L（0Q2）。为此，最大化in L-W（R卩-r）（式中的卩是q x1的拉格朗日乘数向量，in L就是无约束的 对数似然函数），可得约束条件下的0。由于参数的极大似然估计量与最小二乘 估计量实际上是相同的，那么此处得到的0就与上一小节所得到0即（4）式相*同。与前面一样，此时的残差为Y X卩=Y X0 = e，而b 2的带约束的极大似*

22、然估计为&2二叫补，因此，（类似于（7）式）L（PQ2）=常数（e，e）-n 2（9）*（式中常数与（7）式相同）将（7）式和（9）式代入（8）式，就得到了似 然比检验统计量的另一种形式，LR 二 n（ln e e in ee）（10）*由此可见，计算 LR 统计需要拟合无约束模型和有约束模型。而事实上，前面 讲的各种检验（t检验，f检验，（6）式）都可以根据似然比原理推导出来。这 就再次说明似然比检验是统计检验的理论基础。五、沃尔德检验（Wald ）在前面一般线性框架的假设检验的讨论中，由OLS估计量B服从正态分布推 出了（1）式。这里如果我们考虑MLE |3的渐近正态性，也能得到前面的（1

23、） 式，即（R0 - ryp2R（XX）一iR，t（R0 - r）咒2（q）（11）这里q是R中约束条件个数，用G2的一致估计量 2二e%代替式中的6，渐近分布成立，或者说大样本情形的沃尔德统计量为X 2(q)12 )(R0 -rR(XX)-ir1 (R0 -r)6 2类似于前面的（6）式，上式的分子也可写为（ee -ee），于是Wald检验的* *统计量具有另一种形式，13 )W =叱：-必）X 2（q） e e与LR检验的情况一样，W呈大样本卡方分布。如果W的值大于卡方分布的上侧分位数X2，则拒绝原假设。而前面的（6）式也可归为Wald检验类。aWald 检验的一般公式：W =(c( 0)

24、X2(q)六*、拉格朗日乘数检验（ LM ）上述的LR检验，Wald检验都涉及到了对数似然函数InL。Wald检验是由0渐近服从均值为0，方差协方差阵为I-1（0 ）的正态分布，而导出在H下，0R0 - r N（0,RI-1（0）R）。其中 I-1（0） =62（XX）-1。从而得出 Wald 统计量的分布。一般地，如果M是9的极大似然估计量，由其大样本性或渐近性知，0 N(0,I-i(0)，其中I(9)称为信息矩阵，它的定义如下:I (0)二 E(d In L)( d In L) (d0)(d0)= - Ed 2 In LQ0Q0,在线性模型的极大似然估计中，易知I-i(卩)二G 2务 2(

25、 X X )-1002g 4n即上述Wald 检验的 I-1(P)二g(XX)-i。拉格朗日乘数检验同样依赖于对数似然函数及信息矩阵。记S(0)= 学，B0称为InL在0处的得分。无约束估计量的得分S(0)二0，而受约束的估计量0的得分S(0)在约束条件有效的情况下，应接近于0。可以证明，得分向量S(0 )的均值为零，方差一协方差矩阵为信息矩阵I(0)，于是S，(0)I-1 (0)S(0)服从分布x 2，所以大样本时，在H :0=0下，有00LM = S ) I-i(0) S (0) X 2(q)(14)此时，我们只需计算受约束的估计量0的得分(注意：Wald计算的是无约束的估计量)即由S(0

26、)=d ln Lopd ln L=_ Qg 2 _XuG2nuu+ 2G 2 2G4用e = Y - X P和G2 = e e : n代替上式的u和g 2，以及Rp = r，可得* * *丿(1 A尺XeS (0) = G 2*再通过适当的运算和变换可得(过程略)LM=neX(XX)-1Xe必*ee*具体的LM检验可分两步完成。第一步，计算受约束的估计量B ,从而得到残差向量e，第二步，让e对所有的变量X回归，这个回归的可决系数是R2， *恩格尔（Engle 1982）证明了对于大样本来说，LM 二 nR2 咒 2（q）（16）当nR2 z 2 （卡方分布的上侧分位数）时，则拒绝原假设。aLM

27、 检验方法实际上是从一个较简单的模型开始，检验是否可以增加新变量，第一步就是对简单模型（变量较少）回归，得到残差e。如果“真实”模型变*量很多，则这些变量加入模型应对e有影响。所以第二步e对所有变量回归而得 *到的R2的大小就将直接决定是否应该增加新变量，即约束R0二r是否成立。如 果R2很大（nR2 Z2），则说明新增变量对e有显著影响，即真实模型应含较多 a*变量，或者说对参数的约束（比如某些0为0）不成立。如果R 2较小（nR2 LR LM首先，(10)式可写为LR = nln(l+亠 )eel将其按级数ln(1+ z) = z - z2 +展开，便可得到LR LM，即最终，我们有： 2

28、W LR LM由此不等式可知，当LM检验拒绝原假设时，其他检验也一样。当Wald检 验没有拒绝原假设时，其他检验也不会拒绝原假设。尽管在小样本时三个值可能 有所不同，但在大样本情形，这三个检验近似相等。就计算而言， LR 检验最麻 烦，其他两种还算简单。下面给出的是一元线性回归离差形式y =0 x + u的三种检验的具体形式i i i(H :0 = 0 )(推导过程要用到对数似然函数，但并不复杂，这里从略)。0LR = -n ln(l R 2)LM = nR2aux上述三个式子对于大样本来说都服从自由度为 1 的卡方分布。就几何上而言，对于一元回归的原假设H : 0=0，LR检验是基于0和0之

29、间的垂直距离0 0 0(LR = -2ln九=2ln L(0) -2ln L(0 ) ； Wald检验是基于0和0之间的水平距离00(W = (0-0 )21(0)，I (0 )是信息矩阵，此处为(me )-1 = (Var0 )-1 )，LM 检验则0 ii是基于对数似然函数在0 处的斜率(得分函数是对数似然的导数，0LM=s2(0 )I(0 )-1， s(0 )为在0 处的得分)，而每一个检验都很好地度量了原0 0 0 0假设与备样假设之间的“距离”。现将三种检验方法的要点内容列表如下：方法适用范围计算方式以一元线性回归为例的计算及直观意义(H : 0 = 0 )0 0LR只适用线 性约束的 检验计算带约 束和无约 束的对数 似然值LR = 2ln L(0) -2ln L(0 ) = -nln(1- R2)00与0之间的垂直距离0Wald线性约束和非线性约束检验只需估计 无约束的 模型W = (0 -00)21 (0) = (0-忆=% R2ii(F检验)度量0与0之间的水平距离0只需估计LM 二 s2（卩）I（卩）-1 二 nR20 0LM同上约束模型考察对数似然函数在00处的斜率关系图第四节 模型设定检验 ?RESET, BIC, AIC