武汉大学MBA课程《数据模型与决策》课件（17）多重共线性

《武汉大学MBA课程《数据模型与决策》课件（17）多重共线性》由会员分享，可在线阅读，更多相关《武汉大学MBA课程《数据模型与决策》课件（17）多重共线性（45页珍藏版）》请在装配图网上搜索。

1、2.8 2.8 多重共线性多重共线性Multi-Multi-CollinearityCollinearity一、多重共线性的概念一、多重共线性的概念二、多重共线性的后果二、多重共线性的后果三、多重共线性的检验三、多重共线性的检验四、克服多重共线性的方法四、克服多重共线性的方法五、案例五、案例一、多重共线性的概念一、多重共线性的概念1、多重共线性、多重共线性对于模型对于模型（i=1,2,n）如果某两个或多个解释变量之间出现了相关性，如果某两个或多个解释变量之间出现了相关性，则称为则称为多重共线性多重共线性。其基本假设之一是解释变量其基本假设之一是解释变量kXXX,21L互相独立互相独立。如果存在

2、如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其其中中:ci不不全全为为0，即即某某一一个个解解释释变变量量可可以以用用其其它它解解释释变变量量的的线线性性组组合合表表示示，则则称称为为解解释释变变量量间间存存在在完完全全共共线性线性。如果存在如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其其中中ci不不全全为为0，vi为为随随机机误误差差项项，则则称称为为一一般般共共线线性性(近似共线性近似共线性)或或交互相关交互相关(intercorrelated)。在矩阵表示的线性回归模型在矩阵表示的线性回归模型 Y=XB+N中，完全共线性意味着：秩中，完全

3、共线性意味着：秩(X)k+1。换言之，矩阵换言之，矩阵中，至少有一列向量可由其他列向量中，至少有一列向量可由其他列向量（不包（不包括第一列）线性表出。括第一列）线性表出。=knnnkkXXXXXXXXXXLLLLLLLLLLLL212221212111111n(k+1)注意：注意：完全共线性的情况并不多见，一般出现的是在一完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性定程度上的共线性，即近似共线性。例例如如，如果如果X2=aX1，则则X1与与X2的相关系数的相关系数为为a，解解释变释变量量X2对因变量的作用完全可对因变量的作用完全可以以由由X1代替代替。2、实际经济问

4、题中的多重共线性现象、实际经济问题中的多重共线性现象 经济变量的共同变化趋势经济变量的共同变化趋势 时间序列样本：时间序列样本：经济经济繁荣时期繁荣时期，各基本经济变，各基本经济变量（收入、消费、投资、价格）都趋于增长；经量（收入、消费、投资、价格）都趋于增长；经济济衰退时期衰退时期，各基本经济变量又同时趋于下降。，各基本经济变量又同时趋于下降。横截面数据：横截面数据：如如生产函数生产函数中，资本投入与劳动中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，力投入往往出现高度相关情况，大企业二者都大，而小企业二者都小。而小企业二者都小。滞后变量的引入滞后变量的引入 在计量经济模型中，

5、往往需要引入滞后经济变在计量经济模型中，往往需要引入滞后经济变量来反映真实的经济关系。量来反映真实的经济关系。例如：例如：消费消费=f(当期收入当期收入It,前期消费前期消费Ct-1）Ct=0+1It+2Ct-1+t (t=1,2,n)显然，当期收入与前期消费间有较强的线性相显然，当期收入与前期消费间有较强的线性相关性关性。一般经验一般经验 对于采用对于采用时间序列数据时间序列数据作样本、以作样本、以简单线性形式简单线性形式建立的计量经济学模型，往往存在多重共线性；建立的计量经济学模型，往往存在多重共线性；以以截面数据截面数据作样本时，问题不那么严重，但多重作样本时，问题不那么严重，但多重共线

6、性仍然是存在的。共线性仍然是存在的。二、多重共线性的后果二、多重共线性的后果 1 1、完全共线性下参数估计量不存在、完全共线性下参数估计量不存在如果解释变量之间存在完全共线性，则如果解释变量之间存在完全共线性，则(XX)-1不不存在，无法得到参数的估计量。存在，无法得到参数的估计量。多元线性回归模型多元线性回归模型 的普通最小二乘参数估计量为：的普通最小二乘参数估计量为：因为因为如果如果解释变量解释变量kXXX,21L完全完全共共线性线性，那么那么通过通过适当的线性变换，可以将适当的线性变换，可以将X中某一列的全部元素变为中某一列的全部元素变为0，从而行列式，从而行列式0=XX。2 2、近似共

7、线性下、近似共线性下OLSOLS法参数估计量非有效法参数估计量非有效 在在一一般般共共线线性性（或或称称近近似似共共线线性性）下下，虽虽然然可可以以得得到到OLS法法参参数数估估计计量量，但但是是由由参参数数估估计计量量方方差差的的表达式表达式可可以以看看出出，由由于于此此时时|XX|0，引引起起(XX)-1主主对对角角线线元元素素较较大大，从从而而使使得得参参数数估估计计量量的的方方差差也也较较大大，OLS参数估计量非有效。参数估计量非有效。所以，多重共线性使参数估计量的方差增大。多重共线性使参数估计量的方差增大。方差扩大因子方差扩大因子(Variance Inflation Factor)

8、为为1/(1-r2)，其增大趋势见下表：其增大趋势见下表：3 3、参数估计量的经济含义不合理、参数估计量的经济含义不合理 如如果果模模型型(2.8.1)中中两两个个解解释释变变量量具具有有线线性性相相关关性性，例例如如X1和和X2，那那么么它它们们中中的的一一个个变变量量可可以以由由另另一一个个变变量表征。量表征。这这时时，X1和和X2前前的的参参数数并并不不反反映映各各自自与与被被解解释释变变量量之之间间的的结结构构关关系系，而而是是反反映映它它们们对对被被解解释释变变量量的的共共同同影响。影响。所所以以，各各自自的的参参数数已已经经失失去去了了应应有有的的经经济济含含义义，于于是是经经常常

9、表表现现出出似似乎乎反反常常的的现现象象，例例如如本本来来应应该该是是正正的的，结果恰是负的。结果恰是负的。4 4、变量的显著性检验失去意义、变量的显著性检验失去意义存在多重共线性时存在多重共线性时参数估计值的方差与标准差变大参数估计值的方差与标准差变大容易使通过样本计算的容易使通过样本计算的t值小于临界值，值小于临界值，误导作出参数为误导作出参数为0的推断的推断可能将重要的解释变量排除在模型之外可能将重要的解释变量排除在模型之外5 5、模型的预测功能失效、模型的预测功能失效 参数估计量的方差较大，会使参数估计量的方差较大，会使预测值的置信区间预测值的置信区间较大，预测精确度较差，从而使预测失

10、去意义。较大，预测精确度较差，从而使预测失去意义。三、多重共线性的检验三、多重共线性的检验 由于多重共线性表现为解释变量之间具有相关关由于多重共线性表现为解释变量之间具有相关关系，所以系，所以用于多重共线性的检验方法主要是统计方用于多重共线性的检验方法主要是统计方法，如法，如判定系数检验法判定系数检验法、逐步回归检验法逐步回归检验法等等。多重共线性检验的任务多重共线性检验的任务是：是：（1）检验多重共线性是否存在；）检验多重共线性是否存在；（2）估计多重共线性的范围，即判断哪些变量之）估计多重共线性的范围，即判断哪些变量之间存在共线性。间存在共线性。1 1、检验多重共线性是否存在、检验多重共线

11、性是否存在 (1)(1)对两个解释变量的模型，采用对两个解释变量的模型，采用简单相关系数法简单相关系数法 求出求出X1与与X2的简单相关系数的简单相关系数r，若若|r|接近接近1，则说明，则说明两变量存在较强的多重共线性。两变量存在较强的多重共线性。(2)(2)对多个解释变量的模型，采用对多个解释变量的模型，采用综合统计检验法综合统计检验法 若若 在在OLS法下法下，模型的模型的R2与与F值较大，但各参数估值较大，但各参数估计量的计量的t检验值较小，则说明检验值较小，则说明各解释变量对各解释变量对Y的联合线的联合线性作用显著，但性作用显著，但各解释变量之间存在共线性各解释变量之间存在共线性而使

12、得它而使得它们各自对们各自对Y的独立作用不能分辨，故的独立作用不能分辨，故t检验不显著。检验不显著。2 2、判明存在多重共线性的范围、判明存在多重共线性的范围 将将模模型型中中每每一一个个解解释释变变量量分分别别以以其其余余解解释释变变量量为为解解释释变变量量进进行行回回归归计计算算，并并计计算算相相应应的的拟拟合合优优度，也称为判定系数。度，也称为判定系数。如果在某一种形式如果在某一种形式 Xji=1X1i+2X2i+LXLi中中判判定定系系数数较较大大，则则说说明明在在该该形形式式中中作作为为被被解解释释变变量量的的Xj可可以以用用其其他他X的的线线性性组组合合代代替替，即即Xj与与其其他

13、他X之间存在共线性。之间存在共线性。(1)判定系数检验法判定系数检验法 一种一种等价的检验等价的检验：在模型中排除某一个解释变量在模型中排除某一个解释变量Xj，估计模型，估计模型，如果拟合优度与包含如果拟合优度与包含Xj时十分接近，则说明时十分接近，则说明Xj与与其它解释变量之间存在共线性。其它解释变量之间存在共线性。(2)逐步回归逐步回归法法 以以Y为被解释变量，逐个引入解释变量，构成回为被解释变量，逐个引入解释变量，构成回归模型，进行模型估计。归模型，进行模型估计。根据拟合优度的变化决定新引入的变量是否可以根据拟合优度的变化决定新引入的变量是否可以用其它变量的线性组合代替，而不作为独立的解

14、释用其它变量的线性组合代替，而不作为独立的解释变量。变量。如果拟合优度变化显著，如果拟合优度变化显著，则说明新引入的变量是一个则说明新引入的变量是一个独立解释变量；独立解释变量；如果拟合优度变化很不显著如果拟合优度变化很不显著，则说明新引入的变量不，则说明新引入的变量不是一个独立解释变量，它可以用其它变量的线性组合是一个独立解释变量，它可以用其它变量的线性组合代替，也就是说它与其它变量之间存在共线性关系。代替，也就是说它与其它变量之间存在共线性关系。四、克服多重共线性的方法四、克服多重共线性的方法克服多重共线性的方法克服多重共线性的方法:第一类方法：排除引起共线性的变量第一类方法：排除引起共线

15、性的变量第二类方法：差分法第二类方法：差分法第三类方法：减少参数估计量的方差第三类方法：减少参数估计量的方差 1 1、第一类方法：排除引起共线性的变量、第一类方法：排除引起共线性的变量 找出引起多重共线性的解释变量，将它排除出去，是最为找出引起多重共线性的解释变量，将它排除出去，是最为有效的克服多重共线性问题的方法。有效的克服多重共线性问题的方法。上述用于检验多重共线性的方法，同时就是克服多重共线性问题上述用于检验多重共线性的方法，同时就是克服多重共线性问题的方法，其中又以逐步回归法得到最广泛的应用。的方法，其中又以逐步回归法得到最广泛的应用。但应注意的是：排除了引起共线性的变量后，剩余解释变

16、但应注意的是：排除了引起共线性的变量后，剩余解释变量参数的经济含义和数值都发生了变化。它们不再仅仅反映量参数的经济含义和数值都发生了变化。它们不再仅仅反映自身与被解释变量的关系，也包含了与它们成线性关系的、自身与被解释变量的关系，也包含了与它们成线性关系的、被排除的变量对被解释变量的影响。被排除的变量对被解释变量的影响。2 2、第二类方法：差分法、第二类方法：差分法 对于以时间序列数据为样本、以直接线性关系对于以时间序列数据为样本、以直接线性关系为模型关系形式的计量经济学模型，将原模型变为模型关系形式的计量经济学模型，将原模型变换为差分模型换为差分模型 Yi=1 X1i+2 X2i+k Xki

17、+i可以有效地消除存在于原模型中的多重共线性。可以有效地消除存在于原模型中的多重共线性。原因在于原因在于：一般来讲，增量之间的线性关系远一般来讲，增量之间的线性关系远比总量之间的线性关系弱得多。比总量之间的线性关系弱得多。例如：例如：在中国在中国消费模型中的消费模型中的2个变量个变量：由表中的比值可以直观地看到，由表中的比值可以直观地看到，两变量增量的两变量增量的线性关系弱于总量之间的线性关系。线性关系弱于总量之间的线性关系。进一步分析：进一步分析：Y与与C(-1)之间的判定系数为之间的判定系数为0.9845，Y与与C(-1)之间的判定系数为之间的判定系数为0.7456。一般认为：一般认为：两

18、个变量之间的判定系数大于两个变量之间的判定系数大于0.8时，二者之间存在线性关系。时，二者之间存在线性关系。所以，原模型经检验被认为具有多重共线性，所以，原模型经检验被认为具有多重共线性，而差分模型则可以认为不具有多重共线性。而差分模型则可以认为不具有多重共线性。五、案例一：服装市场需求函数五、案例一：服装市场需求函数1 1、建立模型、建立模型 根根据据理理论论和和经经验验分分析析，影影响响居居民民服服装装类类支支出出Y的的主主要要因因素素有有：可可支支配配收收入入X、居居民民流流动动资资产产拥拥有有量量K、服装价格指数服装价格指数P1、物价总指数物价总指数P0。已已知知某某地地区区的的有有关

19、关资资料料，根根据据散散点点图图判判断断，建建立线性服装消费支出模型：立线性服装消费支出模型：Y=0+1X+2K+3P1+4P0+2 2、样本数据、样本数据 由于由于R2较大且接近于较大且接近于1，而且，而且 F=638.4，大于临大于临界值：界值：F 0.05(4,5)=15.19，故认为服装支出与上述故认为服装支出与上述解释变量间总体线性关系显著。解释变量间总体线性关系显著。但由于变量但由于变量K的参数估计值的的参数估计值的t检验值较小（未能检验值较小（未能通过检验），故通过检验），故解释变量间存在多重共线性解释变量间存在多重共线性。3 3、估计模型、估计模型（1）用）用OLS法估计上述模

20、型：法估计上述模型：（2）检验简单相关系数）检验简单相关系数不不难难看看出出，各各解解释释变变量量间间存存在在高高度度相相关关性性，其其中尤其以中尤其以P1和和P0间的相关系数为最高。间的相关系数为最高。（3）找出最简单的回归形式）找出最简单的回归形式可见，应选可见，应选为为初始的回归模型初始的回归模型。（4 4）逐步回归）逐步回归 将将其其他他解解释释变变量量分分别别导导入入上上述述初初始始回回归归模模型型，寻寻找最佳回归方程。找最佳回归方程。4 4、讨论：、讨论：在在初初始始模模型型中中引引入入P1，模模型型拟拟合合优优度度提提高高，且且参数符号合理，但参数符号合理，但P1的的t检验未通过

21、；检验未通过；再再引引入入K，拟拟合合优优度度虽虽有有提提高高，但但K与与P1的的t检检验验未未能能通通过过，且且X与与P1的的t检检验验值值及及F检检验验值值有有所所下下降降，表表明明引引入入K并并未未对对回回归归模模型型带带来来明明显显的的“好好处处”，K可能是多余的；可能是多余的；去去掉掉K K，加加入入P P0 0，拟拟合合优优度度有有所所提提高高，且且各各解解释释变量的变量的t t检验全部通过，检验全部通过，F F值也增大了。值也增大了。将将4 4个个解解释释变变量量全全部部包包括括进进模模型型，拟拟合合优优度度未未有有明显改观，明显改观，K K的的t t检验未能通过，检验未能通过，

22、K K显然是多余的。显然是多余的。5 5、结论、结论回归方程以回归方程以Y=f(X,Y=f(X,P1,P0)为最优：为最优：Y=-12.45+0.10X-0.19Y=-12.45+0.10X-0.19P1+0.31+0.31P0五、案例二：中国消费函数模型五、案例二：中国消费函数模型1 1、OLSOLS法估计结果法估计结果2 2、差分法估计结果、差分法估计结果3 3、比较、比较1：0.480950.496722：0.198540.15850在消除了共线性后，在消除了共线性后，GDP对对CONS的的影响增大，影响增大，CONS1对对CONS的影响减少。的影响减少。当模型存在共线性，将某个共线性变

23、量去掉，当模型存在共线性，将某个共线性变量去掉，剩余变量的参数估计结果将发生变化，而且经剩余变量的参数估计结果将发生变化，而且经济含义有可能发生变化；济含义有可能发生变化；严格地说，实际模型由于总存在一定程度的共严格地说，实际模型由于总存在一定程度的共线性，所以每个参数估计量并不真正反映对应线性，所以每个参数估计量并不真正反映对应变量与被解释变量之间的结构关系。变量与被解释变量之间的结构关系。逐步回归分析逐步回归分析在多元回归分析中，如何选择解释变量是一个重在多元回归分析中，如何选择解释变量是一个重要的问题。如果解释变量太少，则可能决定系数要的问题。如果解释变量太少，则可能决定系数太小，导致模

24、型有较大的偏差；太小，导致模型有较大的偏差；如果解释变量太多，虽然模型的残差平方和较小，如果解释变量太多，虽然模型的残差平方和较小，但各个解释变量对解释变量的影响会变得不显著，但各个解释变量对解释变量的影响会变得不显著，并且还可能出现解释变量间的多重共线性而导致并且还可能出现解释变量间的多重共线性而导致偏回归系数出现异常。偏回归系数出现异常。由此提出最优回归方程的概念。即要求进入回归由此提出最优回归方程的概念。即要求进入回归方程的解释变量都是显著的，而未进入回归方程方程的解释变量都是显著的，而未进入回归方程的解释变量都是不显著的。的解释变量都是不显著的。方法的步骤为：方法的步骤为：首先，在所有解释变量中，按其对被解释首先，在所有解释变量中，按其对被解释变量影响程度的大小，挑选一个最重要的变量影响程度的大小，挑选一个最重要的变量建立一元回归方程；变量建立一元回归方程；然后逐个引入显著的解释变量，并剔除在然后逐个引入显著的解释变量，并剔除在方程中变得不再显著的解释变量；方程中变得不再显著的解释变量；依此反复进行，直到回归方程中不再剔除依此反复进行，直到回归方程中不再剔除变量，也没有显著的变量需要进入回归方变量，也没有显著的变量需要进入回归方程为止。程为止。最后得到的回归方程即为最优的回归方程。最后得到的回归方程即为最优的回归方程。