多元线性回归模型及假定

《多元线性回归模型及假定》由会员分享，可在线阅读，更多相关《多元线性回归模型及假定（24页珍藏版）》请在装配图网上搜索。

1、第三章 多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数统计性质第一节 多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多 元回归模型。多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被 解释变量Y与多个解释变量X , X，,X之间存在线性关系。1 2 k假定被解释变量Y与多个解释变量X ,X ,X之间具有线性关系，是解释变量的多元线性1 2 k函数，称为多元线性回归模型。即y = B +B x +B X + + B

2、X +卩(3-1)0 1 1 2 2 k k其中Y为被解释变量，X (j = 1,2，,k)为k个解释变量，卩(j = 0,1,2，,k)为k +1个未知参数，jj卩为随机误差项。被解释变量Y的期望值与解释变量X , X ,X的线性方程为：12kE(Y) = B +B X +B X + + B X(3-2)01122k k称为多元总体线性回归方程，简称总体回归方程。对于n组观测值Y , X , X，,X (i = 1,2，,n)，其方程组形式为：i1i 2 ikiY = B +B X +B X + + B X +卩,(i = 1,2，,n)(3-3)i 01 1i2 2 ik ki i即7二卩

3、+卩X +卩X +卩X +卩1 01 112 21k k11Y二卩+卩X +卩X +卩X +卩2 01 122 22k k22Y二卩+卩X +卩X +卩X +卩n 011 n22 nk kn n其矩阵形式为Y1Y2X11X12X21X22Xk1Xk2P0P1P2X1nX2nXkn(3-4)Y 11XX-X111121k1 Y1XX-X Y=2为被解释变量的观测值向量；X=1222k2 nx1nx( k+1)Yn1X1nX-2n- Xkn其中为解释变量的观测00100102为总体回归参数向量； p =nx1卩_120kn为随机误差项向量。值矩阵；P (k+1M总体回归方程表示为：(3-5)E (

4、Y)二 Xp与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估 计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析。多元线性回归模型包含 多个解释变量，多个解释变量同时对被解释变量Y发生作用，若要考察其中一个解释变量对Y的影 响就必须假设其它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系 数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量Y的均值的影响。由于参数B B B，B都是未知的,可以利用样本观测值(X ,X，,x ；y)对它们进行0 1 2k1i 2 iki i估计。若计算得到的参数估计值为0,0,0，,

5、0，用参数估计值替代总体回归函数的未知参数012k0，0，0，0，则得多元线性样本回归方程：012kY = 0 +0 X +0 X +0 X(3-6)i01 1i2 2ik kn其中0.(j = 0,1,2,k)为参数估计值，Y(i = 1,2,n)为Y的样本回归值或样本拟合值、样本估 ji计值。其矩阵表达形式为:Y= Xp(3-7)其中Ynx1Xnx（ k+1）弘+1）X1 =八0八1八2Y1Y2X11X12X1n为被解释变量样本观测值向量Y的n x 1阶拟合值列向量；X21X22X2nXk1Xk2Xkn为解释变量X的n x (k +1)阶样本观测矩阵；为未知参数向量卩的(k +1)x 1阶

6、估计值列向量。样本回归方程得到的被解释变量估计值Y与实际观测值Y之间的偏差称为残差e。i i i（3-8）e = Y -Y = Y （0 +0 X +0 +0 X ）i i i i011i 2iki ki二、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有如下假定：假定1零均值假定：E(卩)=0, i = 1,2,n，即（3-9）i1E （卩）12E （卩）2屮-一 E （卩）_nn假定2同方差假定(卩的方差为同一常数):Var（卩）=E（卩2） =a2,（i = 1,2,，n）ii假定3无自相关性：Cov（卩,卩）=E（卩卩）=0

7、,（ i 丰 j, i, j = 1,2,n）i ji jE （心二 EH2HH hh11121 n（H,卩，H ）=EH HH2 h H22 122 n 12nnH Hn1H Hn2H 2nE （ 2）1E （卩卩）21E （卩卩）12E （比）2E （吓）1nE （卩卩）2n E（ 片）=O 21un（3-10）假定4随机误差项卩与解释变量X不相关（这个假定自动成立）:Cov （X ,卩）=0,（ j = 1,2,k, i = 1,2,n）ji i假定5随机误差项卩服从均值为零，方差为 2的正态分布:卩N（0Q21 ）i卩n假定6解释变量之间不存在多重共线性：rank （X） = k +1

8、 n即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵X的秩为参数个数 k+1，从而保证参数B B B，B的估计值唯一。012k第二节 多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计（一）回归参数的最小二乘估计对于含有k个解释变量的多元线性回归模型Y = B +B X +B X +B X +卩 （i = 1,2,，n）i 01 1i2 2ik ki i设0 ,0，,0分别作为参数B ,B ,B的估计量，得样本回归方程为: 01k01kY = 0 +0 X +0 X +0 Xi 01 1i2 2ik ki观测值Y与回归值Y.的残差e为：i i ie = Y -Y

9、= Y -(0 +0 X +0 +0 X )i i i i01 1i2iki ki由最小二乘法可知0 , 0，,0应使全部观测值Y与回归值Y.的残差e的平方和最小，即使01kiiiQ(0 ,0 ,0 ,0 )=乙e2 =乙(Y - Y )2012kii i=乙(Y - 0 -0 X -0 X 0 X )2(3-11)i 01 1i2 2ik ki取得最小值。根据多元函数的极值原理，Q分别对0 ,0，,0求一阶偏导，并令其等于零，即 01k竺二 0,( j 二 1,2,k)郎.j即算=2工(Y-0 -0 X -0 X 0 X )(-1) = 0Q0i 01 1i2 2ik ki0咚=2工(Y-0

10、 -0 X -0 X 0 X )(-X ) = 0彳 Q0i 01 1i 2 2ik ki1i1翠=工(Y-0 -0 X -0 X 0 X )(-X ) = 0Q0i 011i 22ik kikik化简得下列方程组n0 +0 工 X +0E X + +0 工 X” =工 Y 0 X +0 X2 + 0 X X +0 工X X =工X Y201i11i22 i 1ikki 1i1i i(3-12)(3-13)XYki i0 X +0 X X +0 X X + + 0 X2 =nXX xX2X X1i1i2i1i xkiX X1ikiX X2iki上述(k +1)个方程称为正规方程，其矩阵形式为

11、X -0入0r y ki乙X X01 x Yki1i02八=1ii X 2 X Yki0kki i(3-14)1 0ki 11iki 22ikikki因为nXXX1i2ikiXX2XXXX1i1i2i 1iki 1iXXXXXX2ki1i ki2ikiki1111XXXXXX1121k111121n1XXXXXX1222k2XX21222n1XXXXXX1n2nknk1k2kn111YYiXXX1XY11121nY1i iXXX2XY21222nXYYki iXXXnk1k2kn01设P为估计值向量2k样本回归模型YX B e两边同乘样本观测值矩阵X的转置矩阵X，则有XYXXBXe得正规方程组

12、：XYXXB(3-15)由假定，R(X) k 1, XX为(k 1)阶方阵，所以X X满秩，XX的逆矩阵(X X) 1 存在。因而B (X X)iX Y(3-16)则为向量的OLS估计量。以二元线性回归模型为例，导出二元线性回归模型的0LS估计量的表达式。由(3-3)式得二元线 性回归模型为YX Xi 0 1 1i 2 2i i为了计算的方便，先将模型中心化。将Lpq因为X =-工 X , xj njii=1=X - X , j = 1,2) jijijY =-工 Y, ynii=1=工x xpi qiLpqLjYLYY,(p, q = 1,2)=工 x y ,(j = 1,2)ji iy2i

13、卩0 + B1X1 + B 2 X 2,Y =ai01i则二元回归模型改写为中心化模型。a1xx011121,B=Pxx11222P2X =n00 一工Y XX =0工x 2工x x,XrY =工x Y0工x；2i 1i1i 2i乙x 22i1i i乙x Y2i i=工 x x ,(p, q = 1,2)代入得pi qiXX =工x Yji i i=1(3-17)(3-18)0L11L210L12L22(3-19)=xjii=1=工x yji i i=1=LjYXY 二工YiL1YL2Y由(3-16)式得=工x yji i i=1+ Y工xji i=1,(j 二 1,2)(3-20)1王Y_-

14、0inL1Y_ 0L-1 _L2Yp 二(XrX)-1XY 二(3-21)其中L11L12L12L22-1L L -L L11 2212 21L22-L12-L12L11由(3-21)式可知L222Y12厶厶厶_丄厶八(30L L - L1YL L L211 22 12L L - L L-2Y_H1Y_12L L L211 22 12八八=y-3 X-3 X1 1 2 2(3-22)(3-23)(3-24)“ 0 二Y匚1LJ= L-1L _1Y= 1_ L22-L _12_ L _1Y厂丄L2YL L - L211 22 12-L12L11L2YI.b 2(二)随机误差项1的方差I的估计量样

15、本回归方程得到的被解释变量估计值f与实际观测值Y之间的偏差称为残差ei i ie = Y -Y = Y -(0 +0 X + 3 X 十.十3 X )iiii01 1i2i 2iki ki则e 二 Y - Y = Y - Xp 二(Xp + p) - X(XX)-1 XrY二(Xp + p) - X( XX)-1 X(X0 + p)=Xp + p - Xp + (XX)-1 Xrp=p - X(XX)-1 Xrp=I - X(XX)-1 Xpn设P = I - X(XX)-1X，可以得出P是n阶对称幕等矩阵，P = P，P2 = P。于是ne = Pp而残差的平方和为Y e2 = ee = (

16、Pp)(Pp) = pPPp = pTpi=pI - X(XX)-1 XpnE(ee) = EpI - X(XX)-1 Xpn=g 2trI - X(XX)-i X 卩 n=b 2trI -trX(XX)-i X 卩 n=b 2n - (k +1)其中“ tr ”表示矩阵的迹，即矩阵主对角线元素的和。于是E (ee)=ee)n (k +1)( n (k +1)丿随机误差项卩的方差Q2的无偏估计量，记作S 2，即E (S 2) =Q2 , S 2eeRe标准差(或回归标准差)。因此Y e 2eeS 2 = i =e n-k -1 n-k -1其中入入乙 e2 = ee = (Y - X0 )(Y

17、 - X0)i=YY - 2f XY + p XXp=YY - 2p XY + p XX(XX)-1 XY=YY - p XY例如,对于二元线性回归模型( k = 2)ee 工 e2S 2 = Je n -3 n -3入入乙 e2 = ee = L - B L - B LiYY 1 1Y 2 2Y=Y Y 2 -B 工 X Y -B 工 X Yi 11i i 22i i=Q 2 , S为残差的 Re(3-25)(3-26)(3-27)(3-28)二、估计参数的统计性质1、线性性指最小二乘估计量P是被解释变量的观测值Y, Y，,Y的线性函数。12k由于p 二(XX)-1XY设P二(XX)-1X，

18、则矩阵P为一非随机的(k + l)x n阶常数矩阵。所以(3-29)p 二 PY显然最小二乘估计量P是被解释变量的观测值Y, Y，,Y的线性函数。12k2、无偏性将Y = XP + p代入(3-16)式得p = (XX) 一 1X (xp + p )=(XX A XXp +(XX A Xp(3-30)=p +(XX )-1 Xp则 ( )E 0丿=p + E(XX A Xp=p + (XX A XE (p)所以p是p的无偏估计量。3. 最小方差性Q 为 n x n 阶数设P为n x p阶数值矩阵，X为p x n阶随机矩阵(随机变量为元素的矩阵),值矩阵，则E(PXQ )= P(E(X )Q下面

19、我们推导p的方差、协方差矩阵。 定义：Var C)= E(p - p) - p)0 -0八00 -0101-0 0,0i-0r ,0 k-0 kVar (八0八Cov , 01Cov k , 0 )k0(0(0V6CovG , 0 )k10k 0k )由(3-30)式得p - P = (XrX )-1 Xp(XX )-1 Xp=urX(XX )-1所以Var6)= E (p - p)p - P)二 E(XX)-i XppX(XX)-i=(XX A XE (pW)X(X，X A=(XX)-i XG 21 X(XX)-i卩n=b 2(X X)-1(3-31)这个矩阵主对角线上的元素表示P的方差，非

20、主对角线上的元素表示P的协方差。例如畑()是位于豐z的第，行与第i列交叉处的元素(主对角线上的元素)；%0)是位于G2 (x xL的第i行与第j列交叉处的元素(非主对角线上的元素)八在应用上，我们关心的卩的方差，而忽略协方差，因此把(3-31)式记作(3-32)Varb 2 (XX A记S-1 =(x，x)-1 =j = 0,1,2,，k)则Var)=02c 所以P曰p的最小方差线记ij，贝Ii 卩ii，所以M是的取小万差线性无偏估计。这说明，在(3-1)式系数的无偏估计量中，OLS估计量的方差比用其它估计方法所得的 无偏估计量的方差都要小，这正是OLS的优越性所在。用逬代替b :则得0i的标

21、准估计量的估计值，乃称为标准差。其中)= JCs2iii e(3-33)S2eeenk 1对于二元回归模型（k二2 ），求估计量P1，P2的方差，由（3-32）式得其中于是Varc21 =C 2ii卩0L-1 _iiLLL =1112LL12 22、丿1pp z/mkr=c 2 L-i -卩让L L11L - L22 12-L L12 11ii所以Var p )=c 2 p )=11L22 C 2L L L 卩11 22 12(3-34)其中LH C 22 L L 【2卩11 22 12S)=红S 21 L L L2 e11 22 12S C )=SS 22 L L L2 e V 11 22

22、12S2eeen 3(3-35)3-36)(3-37)第三节 显著性检验一、拟合优度检验（一）总离差平方和分解设具有k个解释变量的回归模型为y = p +B x +B x + + B x +卩i 01 1i22 ik ki i其回归方程为Y =p +px +p x + .+0 Xi 01 1i22 i离差分解k kiY -Y = Y -Y-Y）ii ii总离差平方和分解式为：工（Y -Y=Sy -Y）+S（y -YiiiTSS = ESS + RSS总离差平方和分解为回归平方和与残差平方和两部分。(3-38)(3-39)（二）样本决定系数对于多元回归方程，其样本决定系数为复决定系数或多重决定系

23、数。R2 ,(i = 1,2,k)，简记为 R 2。 YXR 2=TSS(3-40) 根据式(3-39)(3-41)R 2 = 1 -竺TSS因为TSS = S(Y - Y=工Y2 -nY2ii由（3-26）式知RSS = Y，Y - B XY所以ESS = TSS - RSS = BXY - nY 2门BXY - nY 2R 2 =YY - nY 2(3-42)R2作为检验回归方程与样本值拟合优度的指标：R2(0 R2 1)越大，表示回归方程与样本拟合的越好；反之，回归方程与样本值拟合较差。具体的，当k =乡时,求样本决定系数工C Y )工y 2 工e 2R 2=孝ii由(3-28)式，得工

24、e2 = L -0 L -0 L，因此有i YY 1 1Y2 2 Y60 L +0 LR 2 = Y2 2YLYY(3-43)(三)调整后的样本决定系数在使用R2时，容易发现R2的大小与模型中的解释变量的数目有关。如果模型中增加一个新 解释变量，总离差TSS不会改变，但总离差中由解释变量解释的部分，即回归平方和ESS将会增加, 这就是说R 2与模型中解释变量个数有关。但通过增加模型中解释变量的数目而使R 2增大是错误的,显然这样R 2来检验被回归方程与样本值拟合优度是不合适的，需要对R 2进行调整，使它不但能说 明已被解释离差与总离差的关系，而且又能说明自由度的数目。以R 2表示调整样本决定系

25、数，S 2R 2 = 1 eS 2 y(3-44)其中工e 2S 2 =i , S 2 =e n-k -1 yn-1这里n - k -1是残差平方和的自由度，n -1是总离差平方和的自由度。 由(3-44)式得_e2n 1() n 1R 2 = 1 ( i= 1 ( R2 /乙& Y 丄 n k 1n k 1i其中，n是样本观测值的个数，k是解释变量的个数。从式中可以看出，当增加一个解释变量时，由前面分析可知R2会增加，引起(R2)减少，而n 增加，因而R2不会增加。这样用R2判nk 1定回归方程拟合优度，就消除了 R2对解释变量个数的依赖。R2或R2只能说明在给定的样本条件下回归方程与样本观

26、测值拟合优度，并不能做出对总体模型的推测，因此不能单凭R2或R 2来选择模型，必须对回归方程和模型中各参数的估计量做显著 性检验。二、方程显著性检验由离差平方和分解(3-39)式可知，总离差平方和TSS的自由度为n-1，回归平方和ESS是由 k个解释变量X ,X，,X对Y的线性影响决定的。因此它的自由度为k。所以，残差平方和的12k自由度由总离差平方和的自由度减去回归平方和的自由度，即为n - k -1。 检验回归方程是否显著，第一步，作出假设h : B = B = 0012k备择假设H : b 、b”、b不同时为o1 1 2 k第二步，在日o成立的条件下，计算统计量FF 二ESS-k A F

27、 (k, n - k -1)RSS n - k -1)第三步，查表临界值对于假设Ho，根据样本观测值计算统计量F给定显著水平，查第一个自由度为k，第二个 自由度为n k 1的F分布表得临界值F (k,n - k - 1)。当F工F (k,n - k - 1)时，拒绝H，则 aa0认为回归方程显著成立；当F t (n - k -1)，则拒绝H : B = 0，接受H : B丰0，即认为B显著不为零。若a0 i1 ii2|t| t (n - k -1)，则接受H : B = 0，即认为B显著为零。a0 ii2四、利用多元线性回归方程进行预测对于多元线性回归模型y = B +Bx +B x + +

28、B x +卩=xp + 卩i 01 1i2 2 ik ki iii其中X =G, X , X ,X )，p =(B , B，B)，(i = 1,2,n)i1i2 iki0 1k根据样本观测值CX ,X，,X ;Y )(i = 1,2,n)利用最小二乘法求得回归方程1i2 iki iY = X pii预测就是给解释变量某一特定值X =G, X , X ,X)对被解释变量的值Y进行估计，12k巳作为Y的预测值。设e = Y - Y，称其为预测误差。e为一随机变量，可以证明e服从正态 0 oooooo分布，即e Nb,a 2 + X (XXL X卩 0 0将式中a 2用它的估计值S 2代替，则得e的

29、标准差a(e )卩e00a(e )= S0 八00其中i1 ee n - k -1统计量对于给定置信水平1-Q，预测值Y0置信区间为 护-1 & (e ) Y Y +1 & (e )0 a 2000 a 20即为扌-1 S V1 + X (XX)-1 X E(Y X )g丿3-50)3 (in L )3S 2 佥 + 2S7(Y XP 心XP)= 0(3-53)这k + 1个方程的解为p =（XX ）-1 XYeeS 2 =-n显然，参数估计式P是P的无偏估计式，而S2则是Q2的小样本有偏估计式,由于(ee nk(ee =x E1 n Jn(n k 丿E(S2)=En-k=x a 2n设e =

30、 lpr2，求似然函数的极大值譽=039由于 lnL 是 L 的单调函数，所以使 lnL 极大的参数值也将使 L 极大，即3（ln L） 39 二 G L）x（3L 39）= 0 0(3-51)求上式对p和a2的偏导数，并令其等于零，可以求出有关估计参数p和S2 o(3-52)2S23（1）二丄（-2XY + 2XXp ） = （XY XXp ）= 0S2仅当n Ta时，E（S2） b2，所以S2是a2的渐近无偏估计式。本章小结：本章重点研究了一个经济变量受多个因素影响的多元线性回归模型0介绍了多元线 性回归模型的建立及其假定条件，应用普通最小二乘法进行多元线性回归模型的参数估计及参数的 统计性质和回归方程的显著性检验，利用实例讲述了计量经济学软件包EViews在多元线性回归分析 中的应用；最后介绍了最大似然估计法，拓宽模型回归参数估计的思路0