计量经济学课件：第四章 多重共线性

《计量经济学课件：第四章 多重共线性》由会员分享，可在线阅读，更多相关《计量经济学课件：第四章 多重共线性（41页珍藏版）》请在装配图网上搜索。

1、第四章第四章 多重共线性多重共线性计量经济学计量经济学引子：引子：发展农业会减少财政收入吗？发展农业会减少财政收入吗？为了分析各主要因素对财政收入的影响，建立财政收为了分析各主要因素对财政收入的影响，建立财政收入模型入模型:其中其中:CS财政收入财政收入(亿元亿元);NZ农业增加值农业增加值(亿元亿元);GZ工业增加值工业增加值(亿元亿元);JZZ建筑业增加值建筑业增加值(亿元亿元);TPOP总人口总人口(万人万人);CUM最终消费最终消费(亿元亿元);SZM受灾面积受灾面积(万公顷万公顷)数据样本时期数据样本时期1978年年-2007年（资料来源：年（资料来源：中国统计年鉴中国统计年鉴200

2、8，中国统计出版社，中国统计出版社2008年版）年版）采用普通最小二乘法得到以下估计结果采用普通最小二乘法得到以下估计结果iiiiiiiiuSZMCUMTPOPJZZGZNZCS6543210财政收入模型的财政收入模型的EViewsEViews估计结果估计结果VariableCoefficient Std.Error t-Statistic Prob.农业增加值工业增加值建筑业增加值总人口最终消费受灾面积截距-1.9075480.0459476.4583740.0960220.003108-0.027627-5432.5070.3420450.0427460.7657670.0916600.0

3、428070.0489048607.753-5.5768881.0748928.4338671.0475910.072609-0.564916-0.6311180.00000.29360.00000.30570.94270.57760.5342R-squared 0.989654Adjusted R-squared 0.986955S.E.of regression 1437.448Sum squared resid 47523916Log likelihood -256.7013Durbin-Watson stat 1.654140Mean dependent var 10049.04S.D

4、.dependent var 12585.51Akaike info criterion 17.58009Schwarz criterion 17.90704F-statistic 366.6801Prob(F-statistic)0.000000 可决系数为可决系数为0.9897，校正的可决系数为，校正的可决系数为0.98700.9870，模，模型拟合很好。模型对财政收入的解释程度高达型拟合很好。模型对财政收入的解释程度高达98.9%98.9%。F F统计量为统计量为366.68366.68，说明，说明0.050.05水平下回归方程整体水平下回归方程整体上显著。上显著。t t 检验结果表明，

5、检验结果表明，除了农业增加值、建筑业增加除了农业增加值、建筑业增加值以外，其他因素对财政收入的影响均不显著。值以外，其他因素对财政收入的影响均不显著。农业增加值的回归系数是负数。农业增加值的回归系数是负数。农业的发展反而会使财政收入减少吗？农业的发展反而会使财政收入减少吗？!这样的异常结果显然与理论分析和实践经验不相符。这样的异常结果显然与理论分析和实践经验不相符。若模型设定和数据真实性没问题，问题出在哪里呢？若模型设定和数据真实性没问题，问题出在哪里呢？模型估计与检验结果分析模型估计与检验结果分析第四章第四章 多重共线性多重共线性 本章讨论四个问题：本章讨论四个问题：什么是多重共线性什么是多

6、重共线性 多重共线性产生的后果多重共线性产生的后果 多重共线性的检验多重共线性的检验 多重共线性的补救措施多重共线性的补救措施第一节第一节 什么是多重共线性什么是多重共线性 本节基本内容本节基本内容:多重共线性的含义多重共线性的含义 产生多重共线性的背景产生多重共线性的背景 12k,.()RankkX 在计量经济学中所谓的多重共线性在计量经济学中所谓的多重共线性(Multi-Collinearity)，不仅包括完全的多重共线性，还包括不完全的多重共线性。不仅包括完全的多重共线性，还包括不完全的多重共线性。在有截距项的模型中，截距项可以视为其对应的解释变量总在有截距项的模型中，截距项可以视为其对

7、应的解释变量总 是为是为1。对于解释变量。对于解释变量 ，如果存在不全为，如果存在不全为0的的 数数 ，使得，使得 则称解释变量则称解释变量 之间存在着完全的多重共之间存在着完全的多重共 线性。线性。231,kXXX一、多重共线性的含义一、多重共线性的含义122330(i1,2,n)iikkiXXX或者说或者说,当当 时，表明在数据矩阵时，表明在数据矩阵 中，至少有中，至少有一个列向量可以用其余的列向量线性表示，则说明存在完全的多一个列向量可以用其余的列向量线性表示，则说明存在完全的多重共线性。重共线性。X231,kXXX不完全的多重共线性不完全的多重共线性 实际中，常见的情形是解释变量之间存

8、在不完实际中，常见的情形是解释变量之间存在不完全的多重共线性。全的多重共线性。对于解释变量对于解释变量，存在不全为存在不全为0的数的数，使得使得为随机变量。这表明解释变量为随机变量。这表明解释变量只是一种近似的线性关系只是一种近似的线性关系。其中其中，231,kXXX12,k12233.01,2,.,iikkiiXXXuiniu231,kXXX ，解释变量间毫无线性关系，变量间相，解释变量间毫无线性关系，变量间相互正交。这时已不需要作多元回归，每个参数互正交。这时已不需要作多元回归，每个参数 j都可都可以通过以通过Y 对对 Xj 的一元回归来估计。的一元回归来估计。回归模型中解释变量的关系回归

9、模型中解释变量的关系 可能表现为三种情形：可能表现为三种情形：(1)，解释变量间完全共线性。此时模型参，解释变量间完全共线性。此时模型参数将无法确定。数将无法确定。，解释变量间存在一定程度的线性关，解释变量间存在一定程度的线性关系。实际中常遇到的情形。系。实际中常遇到的情形。(2)(3)0ijx xr1ijx xr01ijx xr 二、产生多重共线性的背景二、产生多重共线性的背景 多重共线性产生的经济背景主要有几种情形：多重共线性产生的经济背景主要有几种情形：1.经济变量之间具有共同变化趋势。经济变量之间具有共同变化趋势。2.模型中包含滞后变量。模型中包含滞后变量。3.利用截面数据建立模型也可

10、能出现多重共线性。利用截面数据建立模型也可能出现多重共线性。4.样本数据自身的原因。样本数据自身的原因。第二节第二节 多重共线性产生的后果多重共线性产生的后果 本节基本内容本节基本内容:完全多重共线性产生的后果完全多重共线性产生的后果 不完全多重共线性产生的后果不完全多重共线性产生的后果一、完全多重共线性产生的后果一、完全多重共线性产生的后果1.参数的估计值不确定参数的估计值不确定当解释变量当解释变量完全线性相关完全线性相关时时 OLS 估计式不确定估计式不确定 从偏回归系数意义看：在从偏回归系数意义看：在 和和 完全共线性时，无法保完全共线性时，无法保持持 不变，去单独考虑不变，去单独考虑

11、对对 的影响（的影响（和和 的影响的影响不可区分）不可区分）从从OLS估计式看：可以证明此时估计式看：可以证明此时2.参数估计值的方差无限大参数估计值的方差无限大OLS估计式的方差成为无穷大：估计式的方差成为无穷大：2X3X3X200=2X2X3X2Var()Y 二、不完全多重共线性产生的后果二、不完全多重共线性产生的后果 如果模型中存在不完全的多重共线性，可以得到如果模型中存在不完全的多重共线性，可以得到参数的估计值，但是对计量经济分析可能会产生参数的估计值，但是对计量经济分析可能会产生一系列的影响。一系列的影响。1.参数估计值的方差增大参数估计值的方差增大 当当 增大时增大时 也增大也增大

12、 222222222322311Var()=(1-)(1-)iixrxr23r2Var()2.对参数区间估计时，置信区间趋于变大对参数区间估计时，置信区间趋于变大3.假设检验容易作出错误的判断假设检验容易作出错误的判断4.可能造成可决系数较高，但对各个参数单独的可能造成可决系数较高，但对各个参数单独的 t 检验却可能不显著，甚至可能使估计的回归系检验却可能不显著，甚至可能使估计的回归系数符号相反，得出完全错误的结论。数符号相反，得出完全错误的结论。第三节第三节 多重共线性的检验多重共线性的检验 本节基本内容：本节基本内容：简单相关系数检验法简单相关系数检验法 方差扩大（膨胀）因子法方差扩大（膨

13、胀）因子法 直观判断法直观判断法 逐步回归法逐步回归法一、简单相关系数检验法一、简单相关系数检验法 含义：含义：简单相关系数检验法是利用解释变量之间简单相关系数检验法是利用解释变量之间的线性相关程度去判断是否存在严重多重共线性的线性相关程度去判断是否存在严重多重共线性的一种简便方法。的一种简便方法。判断规则：判断规则：一般而言，如果每两个解释变量的简一般而言，如果每两个解释变量的简单相关系数单相关系数(零阶相关系数零阶相关系数)比较高，例如大于比较高，例如大于0.8，则可认为存在着较严重的多重共线性。则可认为存在着较严重的多重共线性。注意：注意：较高的简单相关系数只是多重共线性存在的充分较高的

14、简单相关系数只是多重共线性存在的充分条件，而不是必要条件。特别是在多于两个解释条件，而不是必要条件。特别是在多于两个解释变量的回归模型中，有时较低的简单相关系数也变量的回归模型中，有时较低的简单相关系数也可能存在多重共线性。因此并不能简单地依据相可能存在多重共线性。因此并不能简单地依据相关系数进行多重共线性的准确判断。关系数进行多重共线性的准确判断。二、方差扩大（膨胀）因子法二、方差扩大（膨胀）因子法 统计上可以证明，解释变量统计上可以证明，解释变量的参数估计式的参数估计式的方差可表示为的方差可表示为 其中的其中的是变量是变量(Variance Inflation Factor)，即，即的方差

15、扩大因子的方差扩大因子其中其中 是多个解释变量辅助回归的可决系数是多个解释变量辅助回归的可决系数 21VIF=1-jjR222221Var()=VIF1-jjjjjxRxVIFjjXjXj2jR经验规则经验规则方差膨胀因子越大，表明解释变量之间的多重共方差膨胀因子越大，表明解释变量之间的多重共性越严重。反过来，方差膨胀因子越接近于性越严重。反过来，方差膨胀因子越接近于1，多重共线性越弱。多重共线性越弱。经验表明，方差膨胀因子经验表明，方差膨胀因子10时，说明解释变量时，说明解释变量与其余解释变量之间有严重的多重共线性，且这与其余解释变量之间有严重的多重共线性，且这种多重共线性可能会过度地影响最

16、小二乘估计。种多重共线性可能会过度地影响最小二乘估计。三、直观判断法三、直观判断法 1.当增加或剔除一个解释变量，或者改变一个观当增加或剔除一个解释变量，或者改变一个观测值时，回归参数的估计值发生较大变化，回归测值时，回归参数的估计值发生较大变化，回归方程可能存在严重的多重共线性。方程可能存在严重的多重共线性。2.从定性分析认为，一些重要的解释变量的回归从定性分析认为，一些重要的解释变量的回归系数的标准误差较大，在回归方程中没有通过显系数的标准误差较大，在回归方程中没有通过显著性检验时，可初步判断可能存在严重的多重共著性检验时，可初步判断可能存在严重的多重共线性。线性。3.有些解释变量的回归系

17、数所带正负号与定性分有些解释变量的回归系数所带正负号与定性分析结果违背时，很可能存在多重共线性。析结果违背时，很可能存在多重共线性。4.解释变量的相关矩阵中，自变量之间的相关系解释变量的相关矩阵中，自变量之间的相关系数较大时，可能会存在多重共线性问题。数较大时，可能会存在多重共线性问题。四、逐步回归检测法四、逐步回归检测法 逐步回归的基本思想逐步回归的基本思想 将变量逐个的引入模型，每引入一个解释变量后，将变量逐个的引入模型，每引入一个解释变量后，都要进行检验，并对已经选入的解释变量逐个进都要进行检验，并对已经选入的解释变量逐个进行行t 检验，当原来引入的解释变量由于后面解释变量检验，当原来引

18、入的解释变量由于后面解释变量的引入而变得不再显著时，则将其剔除。以确保每的引入而变得不再显著时，则将其剔除。以确保每次引入新的变量之前回归方程中只包含显著的变量。次引入新的变量之前回归方程中只包含显著的变量。在逐步回归中，高度相关的解释变量，在引入时会在逐步回归中，高度相关的解释变量，在引入时会被剔除。因而也是一种检测多重共线性的有效方法。被剔除。因而也是一种检测多重共线性的有效方法。第四节第四节 多重共线性的补救措多重共线性的补救措施施 本节基本内容本节基本内容:修正多重共线性的经验方法修正多重共线性的经验方法 逐步回归法逐步回归法岭回归法在本科教学中只是供选择使用岭回归法在本科教学中只是供

19、选择使用的内容。的内容。一、修正多重共线性的经验方法一、修正多重共线性的经验方法 1.剔除变量法剔除变量法把方差扩大因子最大者所对应的自变量首先把方差扩大因子最大者所对应的自变量首先剔除再重新建立回归方程，直至回归方程中剔除再重新建立回归方程，直至回归方程中不再存在严重的多重共线性。不再存在严重的多重共线性。注意注意:若剔除了重要变量，可能引起模型的设若剔除了重要变量，可能引起模型的设定误差。定误差。2.增大样本容量增大样本容量如果样本容量增加，会减小回归参数的方差，如果样本容量增加，会减小回归参数的方差，标准误差也同样会减小。因此尽可能地收集足标准误差也同样会减小。因此尽可能地收集足够多的样

20、本数据可以改进模型参数的估计。够多的样本数据可以改进模型参数的估计。问题：问题：增加样本数据在实际计量分析中常面临增加样本数据在实际计量分析中常面临许多困难。许多困难。3.变换模型形式变换模型形式一般而言，差分后变量之间的相关性要比差分一般而言，差分后变量之间的相关性要比差分前弱得多，所以差分后的模型可能降低出现共前弱得多，所以差分后的模型可能降低出现共线性的可能性，此时可直接估计差分方程。线性的可能性，此时可直接估计差分方程。问题：问题：差分会丢失一些信息，差分模型的误差差分会丢失一些信息，差分模型的误差项可能存在序列相关，可能会违背经典线性回项可能存在序列相关，可能会违背经典线性回归模型的

21、相关假设，在具体运用时要慎重。归模型的相关假设，在具体运用时要慎重。4.利用非样本先验信息利用非样本先验信息通过经济理论分析能够得到某些参数之间的关通过经济理论分析能够得到某些参数之间的关系，可以将这种关系作为约束条件，将此约束系，可以将这种关系作为约束条件，将此约束条件和样本信息结合起来进行约束最小二乘估条件和样本信息结合起来进行约束最小二乘估计。计。5.横截面数据与时序数据并用横截面数据与时序数据并用首先利用横截面数据估计出部分参数，再利用首先利用横截面数据估计出部分参数，再利用时序数据估计出另外的部分参数，最后得到整时序数据估计出另外的部分参数，最后得到整个方程参数的估计。个方程参数的估

22、计。注意：注意：这里包含着假设，即参数的横截面估计和这里包含着假设，即参数的横截面估计和从纯粹时间序列分析中得到的估计是一样的。从纯粹时间序列分析中得到的估计是一样的。6.变量变换变量变换变量变换的主要方法：变量变换的主要方法：(1)计算相对指标计算相对指标(2)将名义数据转换为实际数据将名义数据转换为实际数据(3)将小类指标合并成大类指标将小类指标合并成大类指标 变量数据的变换有时可得到较好的结果，但无变量数据的变换有时可得到较好的结果，但无法保证一定可以得到很好的结果。法保证一定可以得到很好的结果。二、逐步回归法二、逐步回归法（1）用被解释变量对每一个所考虑的解释变量做简）用被解释变量对每

23、一个所考虑的解释变量做简单回归。单回归。（2）以对被解释变量贡献最大的解释变量所对应的）以对被解释变量贡献最大的解释变量所对应的回归方程为基础，按对被解释变量贡献大小的顺回归方程为基础，按对被解释变量贡献大小的顺序逐个引入其余的解释变量。序逐个引入其余的解释变量。若新变量的引入改进了若新变量的引入改进了 和和 检验，且回归参检验，且回归参数的数的t t 检验在统计上也是显著的，则在模型中保检验在统计上也是显著的，则在模型中保留该变量。留该变量。F2R若新变量的引入未能改进若新变量的引入未能改进 和和 检验，且对其他回检验，且对其他回归参数估计值的归参数估计值的t t 检验也未带来什么影响，则认

24、为该检验也未带来什么影响，则认为该变量是多余变量。变量是多余变量。若新变量的引入未能改进若新变量的引入未能改进 和和 检验，且显著地影检验，且显著地影响了其他回归参数估计值的数值或符号，同时本身的响了其他回归参数估计值的数值或符号，同时本身的回归参数也通不过回归参数也通不过t t 检验，说明出现了严重的多重共检验，说明出现了严重的多重共线性。线性。2RFF2R 第五节第五节 案例分析案例分析一、研究的目的要求一、研究的目的要求提出研究的问题提出研究的问题为了规划中国未来国内旅游产业为了规划中国未来国内旅游产业的发展，需要定量地分析影响中国国内旅游市场发展的发展，需要定量地分析影响中国国内旅游市

25、场发展的主要因素。的主要因素。二、模型设定及其估计二、模型设定及其估计影响因素分析与确定影响因素分析与确定影响因素主要有国内旅游影响因素主要有国内旅游人数人数 ，城镇居民人均旅游支出，城镇居民人均旅游支出 ，农村居民人，农村居民人均均旅游支出旅游支出 ，并以公路里程次，并以公路里程次 和铁路里程和铁路里程 作为相关基础设施的代表作为相关基础设施的代表 理论模型的设定理论模型的设定其中其中：第第 t 年全国国内旅游收入年全国国内旅游收入23456123456tttttttYXXXXXu2X3XtY4X5X6X年份国内旅游收入Y（亿元）国内旅游人数X2（万人次）城镇居民人均旅游花费X3（元）农村居

26、民人均旅游花费X4（元）公路里程 X5（万km）铁路里程X6（万km）19941023.552400414.754.9111.785.9019951375.762900464.061.5115.705.9719961638.463900534.170.5118.586.4919972112.764400599.8145.7122.646.6019982391.269450607.0197.0127.856.6419992831.971900614.8249.5135.176.7420003175.574400678.6226.6140.276.8720013522.478400708.3212

27、.7169.807.0120023878.487800739.7209.1176.527.1920033442.387000684.9200.0180.987.3020044710.7110200731.8210.2187.077.4420055285.9121200737.1227.6193.057.5420066229.74139400766.4221.9345.707.7120077770.62161000906.9222.5358.377.80数据的收集与处理1994年年2007年中国旅游收入及相关数据年中国旅游收入及相关数据 该模型，可决系数很高，F检验值593.4168,明显显著。

28、但是当时、不仅 、系数的t检验不显著，而且 系数的符号与预期的相反，这表明很可能存在严重的多重共线性。6X6X0.05OLS OLS 估计的结果估计的结果9956.09973.022RR31.2)614()(025.02/tknt5X6X05.0计算各解释变量的相关系数计算各解释变量的相关系数 表明各解释变量间确实存在严重的多重共线性表明各解释变量间确实存在严重的多重共线性X2X3X4X5X6X21.0000000.8671920.5660240.9455390.891303X30.8671921.0000000.8117260.8051290.956903X40.5660240.811726

29、1.0000000.4876690.790144X50.9455390.8051290.4876691.0000000.812921X60.8913030.9569030.7901440.8129211.000000三、消除多重共线性三、消除多重共线性采用逐步回归法检验和解决多重供线性问题。采用逐步回归法检验和解决多重供线性问题。分别作分别作Y 对对X2、X3、X4、X5、X6的一元回归的一元回归 的大小排序为：的大小排序为：X2、X3、X6、X5、X4。以以X2为基础，顺次加入其他变量逐步回归，过程从略为基础，顺次加入其他变量逐步回归，过程从略（见教材）（见教材）2R2R2X3X4X5X6X

30、2R变量参数估计值0.058814.022519.610322.59573025.062t 统计量18.24889.30903.27108.70849.13920.96520.87840.47140.86340.87440.96230.86820.42730.85200.8639 最后消除多重共线性的结果最后消除多重共线性的结果 =-3136.713+0.0435 +3.6660 +2.1786 t=（-10.5998）(16.0418)(3.8314)(1.9744)=0.9961 =0.9949 F=841.4324 DW=1.1763这说明，在其他因素不变的情况下，当这说明，在其他因素不

31、变的情况下，当国内旅游人数国内旅游人数 每增加每增加1万人次，城镇居民人均旅游花费万人次，城镇居民人均旅游花费 和农村居民人均旅游花费和农村居民人均旅游花费 分别增加分别增加1元时，国内旅游收入元时，国内旅游收入 将分别平均增加将分别平均增加0.0435亿元、亿元、3.666亿元和亿元和2.1786亿元。亿元。四、回归结果的解释与分析四、回归结果的解释与分析tYtY2R2R2tX3tX4tX2X3X4X第四章第四章 小结小结1.多重共线性是指各个解释变量之间有准确或近似多重共线性是指各个解释变量之间有准确或近似准确的线性关系。准确的线性关系。2.多重共线性的后果：多重共线性的后果：如果各个解释

32、变量之间有完全的共线性，则它们的如果各个解释变量之间有完全的共线性，则它们的 回归系数是不确定的，并且它们的方差会无穷大。回归系数是不确定的，并且它们的方差会无穷大。如果共线性是高度的但不完全的，回归系数可估计，如果共线性是高度的但不完全的，回归系数可估计，但有较大的标准误差。回归系数不能准确地估计。但有较大的标准误差。回归系数不能准确地估计。3.诊断共线性的经验方法：诊断共线性的经验方法：(1)表现为可决系数异常高而回归系数的表现为可决系数异常高而回归系数的t 检验不检验不显著。显著。(2)变量之间的零阶或简单相关系数。多个解释变变量之间的零阶或简单相关系数。多个解释变量时，较低的零阶相关也

33、可能出现多重共线性，需量时，较低的零阶相关也可能出现多重共线性，需要检查偏相关系数。要检查偏相关系数。(4)如果如果 高而偏相关系数低，则多重共线性是可高而偏相关系数低，则多重共线性是可能的。能的。(5)用解释变量间辅助回归的可决系数判断。用解释变量间辅助回归的可决系数判断。2R 4.降低多重共线性的经验方法：降低多重共线性的经验方法：(1)利用外部或先验信息；利用外部或先验信息；(2)横截面与时间序列数据并用；横截面与时间序列数据并用；(3)剔除高度共线性的变量剔除高度共线性的变量(如逐步回归如逐步回归)；(4)数据转换；数据转换；(5)获取补充数据或新数据；获取补充数据或新数据；(6)选择有偏估计量（如岭回归）。选择有偏估计量（如岭回归）。经验方法的效果取决于数据的性质和共线性的严经验方法的效果取决于数据的性质和共线性的严重程度。重程度。第第 四四 章章 结结 束束 了！了！