多重线性回归与相关

《多重线性回归与相关》由会员分享，可在线阅读，更多相关《多重线性回归与相关（72页珍藏版）》请在装配图网上搜索。

1、1多重线性回归与相关多重线性回归与相关(multiple linear regression&multiple correlation)2 实际中一个指标往往受到多个因素的影响，或者与多个因素之间都有联系 建立糖尿病人空腹血糖的测量值和血清总胆固醇、甘油三酯、空腹胰岛素、糖化血红蛋白之间的联系 一些疾病的患病率 空气污染物含量 病情的好转过程 通常需要在研究设计阶段，根据专业知识，合理地选择需要纳入的变量3content第一节第一节 多重线性回归的概念与统计推断多重线性回归的概念与统计推断第二节第二节 假设检验及其评价假设检验及其评价第三节第三节 复相关系数与偏相关系数复相关系数与偏相关系数第

2、四节第四节 自变量筛选自变量筛选第五节第五节 多元线性回归的应用与注意事项多元线性回归的应用与注意事项4目的：作出以多个自变量估计应变量的多元线性回归方程。资料：线性回归中应变量为定量指标；自变量全部或大部分为定量指标，若有少量定性或等级指标需作转换。用途：解释和预报。意义：由于事物间的联系常常是多方面的，一个应变量的变化可能受到其它多个自变量的影响，如糖尿病人的血糖变化可能受胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂等多种生化指标的影响。5第一节第一节 多重线性回归的概念多重线性回归的概念与统计推断与统计推断6 变量：变量：应变量应变量1个，自变量个，自变量k 个，共个，共k+1个。个。样

3、本含量：样本含量：n 数据格式见表数据格式见表13-1 回归模型一般形式：回归模型一般形式：一、数据与多元线性回归模型一、数据与多元线性回归模型ikikiiixxxY.221107多元回归分析数据格式 条件条件8车流(X1)气温(X2)气湿(X3)风速(X4)一氧化氮(Y)车流(X1)气温(X2)气湿(X3)风速(X4)一氧化氮(Y)130020.0800.450.06694822.5692.000.005144423.0570.500.076144021.5792.400.01178626.5641.500.001108428.5593.000.003165223.0840.400.1701

4、84426.0731.000.140175629.5720.900.156111635.0922.800.039175430.0760.800.120165620.0831.450.059120022.5691.800.040153623.0571.500.087150021.8770.600.12096024.8671.500.039120027.0581.700.100178423.3830.900.222147627.0650.650.129149627.0650.650.145182022.0830.400.135106026.0581.830.029143628.0682.000.0

5、99143628.0682.000.0999一般步骤一般步骤01122kkYbb Xb Xb X建立回归方程(样本)(2)检验并评价回归方程检验并评价回归方程及各自变量的作用大小及各自变量的作用大小10 二、多元线性回归方程的建立样本估计而得的多重线性回归方程bj为自变量Xj 的偏回归系数（partial regression coefficient），是j的估计值，表示当方程中其他自变量保持常量时，自变量Xj变化一个计量单位,反应变量Y的平均值变化的单位数。kkxbxbxbby.22110112201122()()kkQYYYbb Xb Xb X11 11221121 1222221 122

6、kkYkkYkkkkkkYl bl bl bll bl bl bll bl bl bl01122()kkbYb Xb Xb X求偏导数（一阶）()(),j=1,2,k()(),1,2,ijijiijjijjjYjjjXXlXXXXX XinXYlXXYYX Yjkn1234014166 000011619000449000000655003468Y.X.X.X.X原 理最小二乘法统计软件包统计软件包12第二节 假设检验及其评价 1.方差分析法：方差分析法：残回总SSSSSS/1)SSkMSFSSnkMS回回残残（一）对回归方程(,1)F F k nk13 多元线性回归方差分析表(0.05)(0

7、.05)14变异来源自由度SSMSFP回归模型4 40.063960.063960.015990.0159917.5917.59.0001.0001残差19190.017270.017270.000909030.00090903总变异23230.081230.08123表13-2显示，P FModel 4 0.06396 0.01599 17.59|t|EstimateIntercept Intercept 1 -0.14166 0.06916 -2.05 0.0546 0 vehicle vehicle 1 0.00011619 0.00002748 4.23 0.0005 0.59249

8、temp temp 1 0.00449 0.00190 2.36 0.0289 0.27274 humid humid 1 -0.00000655 0.00069083 -0.01 0.9925 -0.00110 wind wind 1 -0.03468 0.01081 -3.21 0.0046 -0.44770 1.确定系数确定系数R2：Y的变异中能用回归方程的变异中能用回归方程中的所有自变量加以解释的部分。中的所有自变量加以解释的部分。的总离均差平方和回归平方和YR 2111122pnnRRadj2.校正确定系数校正确定系数R2adj：在确定系数：在确定系数R2中对中对自变量个数作校正，用

9、于自变量选择。自变量个数作校正，用于自变量选择。57The REG ProcedureModel:MODEL1Dependent Variable:Co CoNumber of Observations Read 24Number of Observations Used 24 Analysis of Variance Sum of MeanSource DF Squares Square F Value Pr FModel 4 0.06396 0.01599 17.59|t|Tolerance InflationIntercept Intercept 1 -0.14166 0.06916 -

10、2.05 0.0546 .0vehicle vehicle 1 0.00011619 0.00002748 4.23 0.0005 0.56972 1.75526temp temp 1 0.00449 0.00190 2.36 0.0289 0.84056 1.18969humid humid 1 -0.00000655 0.00069083 -0.01 0.9925 0.83183 1.20216 wind wind 1 -0.03468 0.01081 -3.21 0.0046 0.57461 1.74032 Collinearity Diagnostics(intercept adjus

11、ted)Condition -Proportion of Variation-Number Eigenvalue Index vehicle temp humid wind 1 1.90864 1.00000 0.10664 0.06194 0.06480 0.10639 2 1.02827 1.36242 0.03993 0.35931 0.33620 0.04069 3 0.73263 1.61406 0.10714 0.40188 0.40904 0.11897 4 0.33047 2.40325 0.74629 0.17688 0.18996 0.733960k10：弱共线性；弱共线性

12、；10k100：严重共线性。：严重共线性。大于大于10时，指示存在某种程度的共线性；时，指示存在某种程度的共线性；大于大于100时，指示存在较严重的共线性。时，指示存在较严重的共线性。0k10：弱共线性；弱共线性；10k100：严重共线性。：严重共线性。大于大于10时，指示存在某种程度的共线性；时，指示存在某种程度的共线性；大于大于100时，指示存在较严重的共线性。时，指示存在较严重的共线性。5959一一.共线性共线性(colinearity)：当某个自变量与其他自变量存在相关时，将使方差扩大，称之为共线性。当某个自变量与其他自变量存在相关时，将使方差扩大，称之为共线性。若共线性程度很高若共线

13、性程度很高(相关系数很大相关系数很大)，将使最小二乘法估计失效，导致回归，将使最小二乘法估计失效，导致回归方程中参数变为不确定，而无法取得参数的估计值。识别方法：方程中参数变为不确定，而无法取得参数的估计值。识别方法：1.条件指数条件指数(conditionindex):方阵方阵的最大特征根的最大特征根与其他的特征与其他的特征根之比的平方根。其中最比大值称条件数根之比的平方根。其中最比大值称条件数k。maxXX maxmink 0k10：弱共线性；弱共线性；10k100：严重共线性。：严重共线性。（五）回归诊断（五）回归诊断k 值用于判断自变量间共线性大小值用于判断自变量间共线性大小),.,1

14、(pjj6060 2.方差扩大因子方差扩大因子(variance inflation factor,VIF):设设Rj为自变量为自变量xj与其余与其余p1 个自变量的复相关系数。个自变量的复相关系数。VIF的计算公式为：的计算公式为：21(1)jjjCR大于大于10时，指示存在某种程度的共线性；时，指示存在某种程度的共线性；大于大于100时，指示存在较严重的共线性。时，指示存在较严重的共线性。解决共线性的办法：除掉某自变量；用主成分分析法降维等。解决共线性的办法：除掉某自变量；用主成分分析法降维等。（五）回归诊断（五）回归诊断R2(vehicle vs.temp humid wind)=0.4

15、303,Tolerance=1-0.4303=0.5697,Variance Inflation=1/0.5697=1.755361 Parameter Estimates Parameter Standard VarianceVariable Label DF Estimate Error t Value Pr|t|Tolerance InflationIntercept Intercept 1 -0.14166 0.06916 -2.05 0.0546 .0vehicle vehicle 1 0.00011619 0.00002748 4.23 0.0005 0.56972 1.75526

16、temp temp 1 0.00449 0.00190 2.36 0.0289 0.84056 1.18969humid humid 1 -0.00000655 0.00069083 -0.01 0.9925 0.83183 1.20216wind wind 1 -0.03468 0.01081 -3.21 0.0046 0.57461 1.74032 Collinearity Diagnostics(intercept adjusted)Condition -Proportion of Variation-Number Eigenvalue Index vehicle temp humid

17、wind 1 1.90864 1.00000 0.10664 0.06194 0.06480 0.10639 2 1.02827 1.36242 0.03993 0.35931 0.33620 0.04069 3 0.73263 1.61406 0.10714 0.40188 0.40904 0.11897 4 0.33047 2.40325 0.74629 0.17688 0.18996 0.733960k10：弱共线性；弱共线性；10k100：严重共线性。：严重共线性。大于大于10时，指示存在某种程度的共线性；时，指示存在某种程度的共线性；大于大于100时，指示存在较严重的共线性。时，指示

18、存在较严重的共线性。62Obs point vehicle temp humid wind Co predict residual RSTUDENT 1 1 1300 20.0 80 0.45 0.066 0.08312 -0.017120 -0.65784 2 2 1444 23.0 57 0.50 0.076 0.11175 -0.035748 -1.36347 3 3 786 26.5 64 1.50 0.001 0.01630 -0.015295 -0.59587 4 4 1652 23.0 84 0.40 0.170 0.13921 0.030794 1.12924 5 5 1756

19、 29.5 72 0.90 0.156 0.16323 -0.007235 -0.26076 6 6 1754 30.0 76 0.80 0.120 0.16869 -0.048692 -1.96019 7 7 1200 22.5 69 1.80 0.040 0.03598 0.004017 0.13746 8 8 1500 21.8 77 0.60 0.120 0.10926 0.010738 0.37062 9 9 1200 27.0 58 1.70 0.100 0.05975 0.040255 1.46922 10 10 1476 27.0 65 0.65 0.129 0.12819 0

20、.000814 0.02836 11 11 1820 22.0 83 0.40 0.135 0.15424 -0.019238 -0.69268 12 12 1436 28.0 68 2.00 0.099 0.08119 0.017812 0.61599 13 13 948 22.5 69 2.00 0.005 -0.00023 0.005233 0.18826 14 14 1440 21.5 79 2.40 0.011 0.03850 -0.027497 -1.11766 15 15 1084 28.5 59 3.00 0.003 0.00791 -0.004911 -0.18839 16

21、16 1844 26.0 73 1.00 0.140 0.15426 -0.014256 -0.50373 17 17 1116 35.0 92 2.80 0.039 0.04756 -0.008559 -0.51358 18 18 1656 20.0 83 1.45 0.059 0.08978 -0.030777 -1.19277 19 19 1536 23.0 57 1.50 0.087 0.08775 -0.000752 -0.02782 20 20 960 24.8 67 1.50 0.039 0.02885 0.010147 0.35986 21 21 1784 23.3 83 0.

22、90 0.222 0.13855 0.083445 3.99640 22 22 1496 27.0 65 0.65 0.145 0.13051 0.014491 0.50792 23 23 1060 26.0 58 1.83 0.029 0.03448 -0.005477 -0.19041 24 24 1436 28.0 68 2.00 0.099 0.08119 0.017812 0.615996363二二.异常值异常值(离群值离群值,outlyer)：X|(mean3sd)|Point=21Rstudent=3.9964（五）回归诊断（五）回归诊断64The REG ProcedureMo

23、del:MODEL1Dependent Variable:Co CoNumber of Observations Read 24Number of Observations Used 24Stepwise Selection:Step 1Variable vehicle Entered:R-Square=0.6529 and C(p)=11.0195 Analysis of Variance Sum of MeanSource DF Squares Square F Value Pr FModel 1 0.05303 0.05303 41.38 FIntercept -0.13529 0.03

24、534 0.01879 14.66 0.0009vehicle 0.00015845 0.00002463 0.05303 41.38 FModel 2 0.05886 0.02943 27.62 FIntercept -0.05000 0.04867 0.00112 1.06 0.3160vehicle 0.00012217 0.00002729 0.02134 20.03 0.0002wind -0.02522 0.01078 0.00582 5.47 0.029366Stepwise Selection:Step 3Variable temp Entered:R-Square=0.787

25、4 and C(p)=3.0001 Analysis of Variance Sum of MeanSource DF Squares Square F Value Pr FModel 3 0.06396 0.02132 24.69 FIntercept -0.14200 0.05790 0.00519 6.01 0.0235vehicle 0.00011608 0.00002470 0.01907 22.08 0.0001temp 0.00449 0.00185 0.00510 5.91 0.0246wind -0.03470 0.01046 0.00950 11.00 0.0034Boun

26、ds on condition number:1.7157,13.18All variables left in the model are significant at the 0.0500 level.No other variable met the 0.0500 significance level for entry into the model.Summary of Stepwise Selection Variable Variable Number Partial ModelStep Entered Removed Label Vars In R-Square R-Square

27、 C(p)F Value Pr F 1 vehicle vehicle 1 0.6529 0.6529 11.0195 41.38 .0001 2 wind wind 2 0.0717 0.7246 6.6117 5.47 0.0293 3 temp temp 3 0.0628 0.7874 3.0001 5.91 0.0246676869707172本章重点1.多重线性回归的概念多重线性回归的概念2.多重线性回归模型参数的估计方法多重线性回归模型参数的估计方法3.多重线性回归模型中自变量的筛选方法和标准多重线性回归模型中自变量的筛选方法和标准4.如何进行多重线性回归模型的评价如何进行多重线性回归模型的评价5.多重线性回归模型应用中应该注意哪些问题多重线性回归模型应用中应该注意哪些问题6.多重线性回归模型中，自变量之间存在严重的共多重线性回归模型中，自变量之间存在严重的共线性会出现什么问题，可以如何解决线性会出现什么问题，可以如何解决7.偏回归系数、标准化回归系数、决定系数、调整偏回归系数、标准化回归系数、决定系数、调整的决定系数、复相关系数、偏相关系数的概念、意义的决定系数、复相关系数、偏相关系数的概念、意义及应用及应用