第四章--经典线性回归模型高级计量经济学清华大学-潘文清ppt课件

《第四章--经典线性回归模型高级计量经济学清华大学-潘文清ppt课件》由会员分享，可在线阅读，更多相关《第四章--经典线性回归模型高级计量经济学清华大学-潘文清ppt课件（53页珍藏版）》请在装配图网上搜索。

1、第四章第四章 经典线性回归模型经典线性回归模型(I)Classical Linear Regression Model(I)4.1 经典线性回归模型经典线性回归模型Classical Linear Regression Models一、经典回归模型一、经典回归模型 Classical Regression ModelknnkkXXXXXX1212111111X 假设随机抽取一容量为n的样本(Yi,Xi),i=1,n，其中，Yi是标量，Xi=(1,X1i,X2i,Xki)，或nYYY21Y 经典回归模型经典回归模型(classical regression model)建立在如下假设之上：假设假

2、设1 1(linearity):Yi=0+1X1i+kXki+i =Xi+i (i=1,2,n)或 Y=X+其中，=(0,1,k),=(1,2,n)注意：注意：这里的线性性线性性指Y关于参数 是线性的。假设假设2 2（strict Exogeneity）:E(i|X)=E(i|X1,X2,Xn)=0,(i=1,2,n)注意：注意：(1)由E(i|X)=0 易推出：E()=0,E(Xji)=0 或有：Cov(Xj,i)=0 (i,j=1,2,n)(2)由于可以有ji,或ji,意味着i既不依赖过去的X，也不依赖于未来的X。因此排除了动态模型动态模型。例：例：对AR(1)模型：Yi=0+1Yi-1+

3、i=Xi+i这里Xi=(1,Yi-1)，显然E(Xii)=E(Xi)E(i)=0，但E(Xi+1i)0。因此，E(i|X)0 (3)计量经济学中，关于严格外生性有其他的定义。如定义为i独立于X，或X是非随机的。这一定义排除了条件异方差性。而我们这里的假设假设2 2是允许存在条件异方差性的。如果X是非随机的，则假设假设2 2变成 E(i|X)=E(i)=0 (4)假设假设2 2的向量形式：E(|X)=0注意：注意：(1)本假设排除了解释变量间的多重共线性多重共线性(multicollinearity)(2)本假设意味着XX是非奇异的，或者说X必须满秩于k+1。因此应有k+1n。(3)由于表述了矩

4、阵XX的相关信息，因此本假设意味着当n时应有新信息进入X，即Xi不能老是重复相同的值。假设假设4 4（Spherical error variance）(a)conditional homoskedasticity:E(i2|X)=20,i=1,2,n (b)conditional serial uncorrelatedness:E(ij|X)=0,i,j=1,2,n 注意：注意：(1)假设假设4 4可写成 E(ij|X)=2ij,其中，i=j时，ij=1；ij时，ij=0 矩阵形式：E()=2I (3)假设假设4 4意味着存在非条件同方差性同方差性：var(i)=2类似地，Cov(i,j)=

5、0 (2)由假设假设2 2，Var(i|X)=E(i2|X)-E(i|X)2=E(i|X)=2同理，Cov(i,j|X)=E(ij|X)=0 (4)假设假设4 4并不意味着i与X是独立的。它充许i的条件高阶矩（如：偏度、峰度）可依赖于X。二、参数二、参数 的估计估计 Estimation of 由假设假设1 1与假设假设2 2知：E(Y|X)=0+1X1+kXk=X 其中，X=(1,X1,Xk)即线性模型Y=X+关于E(Y|X)正确设定。因此，其最佳线性最小二乘近似解最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值 0

6、。即，min E(Y-X)2 的解为 *=0=E(XX)-1E(XY)由类比法，对样本回归模型 Yi=Xib+ei i=1,2,n其中，Xi=(1,X1i,Xki),b=(b0,b1,bk)需求解极值问题 min(1/n)(ei)2 上述问题相当于求解残差平方和残差平方和(sum of squared residuals,SSR)的极小值 min SSR(b)=ei2=(Yi-Xib)2=ee=(Y-Xb)(Y-Xb)其中，e=(e1,e2,en)在假设假设3 3下，解为：b=(XX)-1(XY)该方法称为普通最小二乘法普通最小二乘法(ordinary Least Squares)(1)1阶偏

7、导：SSR/b=-2X(Y-Xb)2阶偏导：2SSR/2b=2XX 由min(XX)0 知2XX0,从而b=(XX)-1(XY)是最小值(2)由1阶极值条件可以得到所谓正规方程正规方程(normal equations):X(Y-Xb)=Xe=0 正规方程正规方程是OLS所特有的，而不论是否有E(i|X)=0注意：注意：一些有用的等式一些有用的等式 (1)Xe=0 (2)b-=(XX)-1X 因为 b=(XX)-1XY=(XX)-1X(X+)=+(XX)-1X (3)定义nn方阵：P=X(XX)-1X,M=In-P则 P=P，M=M P2=P，M2=M且 PX=X,MX=On(k+1)(4)e

8、=MY=M SSR(b)=ee=YMY=M 三、高斯三、高斯-马尔科夫定理马尔科夫定理Gauss-Markov TheoremQuestion:OLS估计量的统计性质如何估计量的统计性质如何？(1)Unbiaseness E(b|X)=,E(b)=E(b|X)=E(+(XX)-1X)|X=+(XX)-1XE(|X)=(2)Vanishing Variance Var(b|X)=E(b-)(b-)|X =E(XX)-1XX(XX)-1|X =(XX)-1E(|X)=(XX)-12I =2(XX)-1 b中第i个元素的方差：Var(bi)=2cii,cii为(XX)-1中主对角线第i个元素。对任何

9、其元素平方和为1的(k+1)1向量,=1 Var(b|X)=2(XX)-1 2max(XX)-1 =2min(XX)-1 注意：注意：Var(b|X)0还可通过Chebycheff不等式来证明：对b中的第i个元素：P|bi-i|=0 for all 0由于 b-=(XX)-1X E(e|X)=E(M|X)=ME(|X)=0故 Cov(b,e|X)=E(XX)-1X e|X =E(XX)-1XM|X =(XX)-1XE(|X)M =2(XX)-1XM =On n(3)Orthogonality between e and b Cov(b,e|X)=E(b-)(e-E(e)|X(4)Gauss-M

10、arkov theorem In the CR model,the LS coefficient vector b is the minimum variance linear unbiased estimator of parameter vector .E(b*|X)=EC(X+)|X=CX+CE(|X)=CX b*是无偏的当且仅当CX=I于是 b*=CY=C(X+)=CX+C=+C b*-=C 则 Var(b*|X)=E(b*-)(b*-)|X=ECC|X =CE(|X)C=C2IC=2CC于是 Var(b*)-Var(b)=2CC-2(XX)-1 =2CC-CX(XX)-1XC =2C

11、I-X(XX)-1XC=2CMC =2CMMC=2(MC)(MC)=2DD=positive semi-definite 设b*是另一线性无偏估计：b*=CY其中，C=C(X)为一n(k+1)只依赖于X的矩阵。只需证明 Var(b*)-Var(b)是半正定的 (1)Gauss-Markov 定理表明OLS估计量b是 的最最佳线性无偏估计量佳线性无偏估计量(best linear unbiased estimator,BLUE)；(2)由性质(1)与性质(2)还可得出，OLS估计量b依均方收敛于，因此依概率收敛于，从而是 的一致估计量。(3)由性质(1)与性质(2)知：MSE(b|X)=E(b-

12、)(b-)|X)=Var(b|X)+bias(b|X)2 0 (n)注意：注意：四、估计四、估计 2及及Var(b)Estimation of 2 and Var(b)由于2未知，而Var(b)中也有2，故需估计。由假设假设4 4，E(i2|X)=2，故可用E(ei2|X)来估计2。E(ei2|X)=E(ee|X)=E(M|X)=E(ijmijij|X)=ijmijE(ij|X)=2imii=2trace(M)而 trace(M)=trace(In-P)=trace(In)-traceX(XX)-1X =n-trace(XX)-1XX=n-trace(XX)-1XX =n-(k+1)于是 E(

13、ei2|X)=E(ee|X)=2(n-k-1)记s2=ei2/(n-k-1)=ee/(n-k-1)，则s2为2的无偏估计量五、估计条件期望及预测五、估计条件期望及预测 Estimation of conditional Expectation,and Prediction 1 1、估计条件期望、估计条件期望 2 2、Y个个值的预测值的预测六、测度拟合优度六、测度拟合优度 Measuring Goodness of FitRuc2为非中心化多元相关系数的平方非中心化多元相关系数的平方(Uncentered squared multi-correlation coefficient)Questio

14、n:How well does the linear regression model fit the data?That is,how well does the linear regression model explain the variation of the observed data?注意：注意：(1)0 Ruc21 (2)Ruc2 的含义：Y的变化中可以由X的变化解释的部分所占的比重 称为Y的方差分解式方差分解式(analysis of variance)：观测值的离差平方和(SST)等于拟合值的离差平方和(SSE)加残差的平方(SSR):SST=SSE+SSR(3)R2是解释

15、变量数目Xi的非递减函数。Proof:记 Yi=Xi+ui (i)对应 R2 Yi=Xi+vi (ii)对应R+2其中，Xi=(1,X1i,Xki),Xi+=(1,X1i,Xki,Xk+q,i)求解min SSR()可看成在k+1=k+q=0的约束下求解min SSR(+)。有约束的(i)的残差平方和不会小于无约束的(ii)的残差平方和：e+e+ee 为避免将无解释力的解释变量纳入到X中去，引入调整的决定系数调整的决定系数(adjusted coefficient of determination):(4)决定系数仅是对样本回归线拟合样本数据的程度给予描述。而CR模型并不要求R2要有多高，CR

16、模型关心的是对总体回归参数的估计与检验。(5)有两个常用的判别是否有必要引入额外解释变量的准则（在变量数目与模型简洁性间权衡）：贝叶斯信息准则贝叶斯信息准则(Baysian information criterion,BIC)施瓦茨准则施瓦茨准则（Schwarz criterion，SC）BIC=lnee/n+(k+1)ln(n)/n赤池信息准则赤池信息准则(Akaike information criterion,AIC)AIC=lnee/n+2(k+1)/n =goodness of fit+model complexity 贝叶斯信息准则对多引入多余的解释变量给出了更重的惩罚。4.2 经

17、典正态回归经典正态回归一、经典正态回归模型一、经典正态回归模型Classical Normal Regression Model 为了寻找有限样本有限样本下b的抽样分布以及对其对 的代表性进行检验，需要对随机扰动项 给出进一步的假设：假设假设5.|XN(0,2I)于是，Y=X+称为经典正态回归模型经典正态回归模型(classical normal regression model,CNR model)它并不依赖于X，即 独立于X。(ii)有假设(5)意味着就有假设(2)与假设(4)注意：注意：二、抽样分布二、抽样分布 Sampling DistributionQuestion:What is

18、the sampling distribution of b?引理引理3.4.1:多元正态分布向量的线性函数呈多元正态分布:如果z=g+Hy，这里g与H为非随机变量，且H是行满秩的，则 zN(g+H,H H)其中，=E(y),=Var(y)引理引理3.4.2:设n1向量uN(0,In)，M为nn幂等矩阵，rank(M)=rn。记w=uMu,则w2(r)Proof:由于 b=+(XX)-1X 记 HKn=(XX)-1X，则 rank(H)=rank(X)=rank(X)=K=k+1 又|XN(0,2I)，则由引理引理3.4.1b|XN+(XX)-1XE(|X),(XX)-1XVar(|X)X(X

19、X)-1或 bN(,2(XX)-1)Theorem 1 Normality of b:在假设1、3、5下，b|XN(,2(XX)-1)推论：推论：bj为b的第j个元素，则bjN(j,2cjj)proof:正态分布的线性组合为正态分布：E(Rb|X)=RE(b|X)=(R)J1 Var(Rb|X)=RVar(b|X)R=2R(XX)-1RTheorem 2 Normality of Rb:在假设1、3、5下，对任何非随机行满秩矩阵RJK，有 Rb|XN(R,2R(XX)-1R)Theorem 3:在假设1、3、5下，(i)(n-K)s2/2|X=ee/2|X2(n-K)(ii)s2与b相互独立。

20、进一步关心与进一步关心与s2有关的分布形式：有关的分布形式：(1)由于ee=M，而|XN(0,2In),则 (1/)|XN(0,In)由于 rank(M)=trace(M)=n-K 由引理引理3.4.2 (/)M(/)2(n-K)于是 ee/2=(n-K)s2/22(n-K)(2)s2是e的函数，而e与b相互独立，从而s2与b相互独立。注意：注意：(1)(i)意味着 E(n-K)s2/2|X=n-K=n-k-1 因此 E(s2|X)=2proof:(3)(i)与(ii)意味着 MSE(s2|X)=E(s2-2)2|X =Var(s2|X)+E(s2|X)-22 =Variance+biase

21、0因此，s2是2的最优估计。(2)(i)意味着 Var(n-K)s2/2|X=2(n-K)即 (n-K)2/4Var(s2|X)=2(n-K)Var(s2|X)=22/(n-K)0,n表明s2|X依均方收敛，从而依概率收敛于2。再次表明s2是2的一致估计量。三、置信区间三、置信区间 Confidence Interval 2未知时bj的置信区间置信区间 2往往未知，可用s2替代。这时小样本下，b的分布已不再是正态分布正态分布。引理引理3.4.3 If w=zz,where the n1 vector zN(0,I),then w2(n)引理引理3.4.4 If v=(w1/m)/(w2/n),

22、where w12(m)and w22(n)are independent,then vF(m,n).四、假设检验四、假设检验 Hypothesis Testing 1.1.单参数检验单参数检验(test on a Single Parameter)假设有如下零假设零假设(null hypothesis)H0:j=j0 如果该假设为真，则在一次抽样中，bj远离j0的概率较小。在Tj=(bj-i0)/sbjt(n-K)的情况下，给定较小的显著显著性水平性水平(significance-level)，意味着Tj落在置信度置信度1-的置信区间置信区间外的概率只有。即 P|bj-i0|/sbjt1-/

23、2(n-K)=因此，给定显著性水平显著性水平：Tj落在置信度置信度1-的置信区间置信区间内，则接受H0:j=j0 Tj落在置信度置信度1-的置信区间置信区间外，则拒绝H0:j=j0 注意：注意：(1)在实践中，往往关注的假设是：j=0 (2)n时，tN(0,1)，这时可用标准正态分标准正态分布布的置信区间进行判断。选择适当的R，可以关注整个 向量、或 的子向量*p1，或 的某一个元素j。如，取R=(0,0,0,1,0),r=0，则 R=r 3=0 取R=(0,1,1,0,0),r=1，则 R=r 1+2=1 2.2.多参数检验多参数检验(Test on a Set of Parameters)

24、假设有一关于 的联合零假设联合零假设(joint null hypothesis)H0:R=r其中，R是秩为J的JK矩阵，r为J1向量。如果H0为真，则在一次抽样中，b远离 的概率较小，或Rb远离r的概率较小。由于 Rb|XN(R,2R(XX)-1R)，则当R=r为真时 Rb|XN(r,2R(XX)-1R)引理引理3.4.6：对n1向量yN(,)，记w=(y-)-1(y-)则 w2(n)。(*)由于(*)式中的2往往未知，因此在小样本下并不实际使用。当用s2替代2时，采用如下F统计量:Proof:而由前述引理引理3.4.43.4.4，命题得证。注意注意:因此，大样本下可以用s2 替代2后直接用

25、2分布 另外，容易验证有 (2)对于F分布具有如下性质：a.如果 FF(p,q)，则F-1F(q,p)；b.F(1,q)t2(q)a是显然的。下面验证b：记R=(0,0,1,0,0),这里第j个元素非零，r=j0则(1,n-K)=(bj-j0)R(XX)-1R-1(bj-j0)/s2 =(bj-j0)2/R(XX)-1Rs2 (3)Alternative expression for F-Test Statistics这里，J恰为约束条件个数。记非约束OLS估计为:b=(XX)-1XY，考虑上述极值条件第一式有 因此，在一次抽样中，可根据计算的F值的大小，来检验约束条件H0:R=r的真伪。由于

26、一般地有 SSRr SSRu 只有当只有当约束条件为真时，二者的差异变小，计算的F值较小，否则F值变大。具体地，给定显著性水平显著性水平：F值落在相应的临界值临界值(critical value)左边，则接受H0 F值落在相应的临界值临界值右边，则拒绝H0 3、若干应用若干应用 Case1:Testing for the Joint Significance of Explanatory Variables检验 H0:j=0 for j=1,2,k H1:j0 at least for some j，j=1,2,k在H0下，受约束回归受约束回归：Yi=0+i 另一表达式：注意：注意：该式只能检

27、验假设：H0：j=0 for all j1Case 2:Testing for Omitted Variables假设 X=(X(1),X(2)，这里X(1)nk1，X(2)n(k1+k2+1)如果 E(Yi|Xi)=E(Yi|X(1)i)，则称X(2)i对Yi无解释能力，如果 E(Yi|Xi)E(Yi|X(1)i)，则称X(2)i对Yi有解释能力。如果X(2)i对Yi有解释能力，但却未纳入模型，则称X(2)i为遗漏向量遗漏向量(omitted vector)。Question:如何检验X(2)i是线性回归中的遗漏向量？H0:k1+1=k1+2=k1+k2=0Example:Testing f

28、or Structural Changei表示时间。检验在时间i=i0后是否存在结构变化。引入哑变量Di:Di=1 if ii0 and Di=0 otherwise Yi=(0+0Di)+j=1k(j+jDi)Xji+i =0+j=1kjXji+0Di+j=1k jDiXji+I (*)因此，只需检验：H0：j=0 for all j=0,1,k 这里(*)为无约束模型，(*)为受约束模型。(*)Case 3:Testing for linear restriction Example:Testing for CRS:ln(Yi)=0+1ln(Li)+2ln(Ki)+3autonomyi+i test H0:1+2=1 restricted model:ln(Yi)=0+1ln(Li)+(1-1)ln(Ki)+3autonomyi+i Or ln(Yi/Ki)=0+1ln(Li/Ki)+3autonomyi+IF-test: