多元线性回归实例分析

《多元线性回归实例分析》由会员分享，可在线阅读，更多相关《多元线性回归实例分析（18页珍藏版）》请在装配图网上搜索。

1、SPSS-回归-多元线性回归模型案例解析！（一）多元线性回归，主要是研究一个因变量与多个自变量之间的相关关系，跟一元回归原理差不多，区别在于影响因素（自变量）更多些而已，例如：一元线性回归方程为：F 二 十 十 E毫无疑问，多元线性回归方程应该为：上图中的Xl, x2, xp分别代表“自变量” Xp截止，代表有P个自变量，如果有“N组样 本，那么这个多元线性回归，将会组成一个矩阵，如下图所示：记n组样本分别是（k打丹刖，令:q和xl27/y =1 切兀22 工切: ： 0 = E -%J 忌 F 5）)丨 Y = X0+E .那么，多元线性回归方程矩阵形式为：其中： 代表随机误差，其中随机误差

2、分为：可解释的误差和不可解释 的误差，随机误差必须满足以下四个条件，多元线性方程才有意义（一元线性方程也一样） 1：服成正太分布，即指：随机误差 必须是服成正太分别的随机变量。2：无偏性假设，即指：期望值为03：同共方差性假设，即指，所有的 随机误差变量方差都相等 4：独立性假设，即指：所有的随机误差变量都相互独立，可以用协方差解释。今天跟大家一起讨论一下，SPSS-多元线性回归的具体操作过程，下面以教程教程数据 为例，分析汽车特征与汽车销售量之间的关系。通过分析汽车特征跟汽车销售量的关系，建 立拟合多元线性回归模型。数据如下图所示：16.91939.38414.1148.58820.3971

3、8.7801.38019.7479.23117.52791.56139.35027.86183.26763.72916.9436.63611.18614.785145.519136 12624.62942.593resale1G.3G019.87518.2252&.Z2622.25523.66639 00028.67536 12512.47513.74020 19013.36022.52527.10026.72618.2259.25011.22610.31011.62621 50028.400192.9192.042.00019G.G23.990178.033.960108.776.1192.

4、062.00074.0198.226.990176.033.40017G.038.90070.9188.021.975194.625.300196.231.966206.827.886200.039.895207.244.476201.039.666200.631.010194.846.225201.213.260180.916.636107.0190.418.890107.5200.919.390110.5197.9106.9114.6102.6113.0111.4109 0109 0113.8112.2112.2108.0点击“分析”回归线性进入如下图所示的界面：68.4将“销售量”作为“

5、因变量”拖入因变量框内， 将“车长，车宽，耗油率，车净重等 10 个自变量 拖入自变量框内，如上图所示，在“方法”旁边，选择“逐步”，当然，你也可 以选择其它的方式，如果你选择“进入”默认的方式，在分析结果中，将会得到如下图所示 的结果：（所有的自变量，都会强行进入）输入/鶴去的袤量匕模型输入的变量移去的娈量方法1耗油量:迈肝, 车民 Price in thousandsr., Vehicle tvpe, 车黄，Engine size, Fuel .apapity, Wh eel base,Horsepower输入a. 已输灭所有诸求的黄量鼻b. Log-transformed sales如果

6、你选择“逐步”这个方法，将会得到如下图所示的结果：（将会根据预先设定的“F统 计量的概率值进行筛选，最先进入回归方程的“自变量”应该是跟“因变量”关系最为密切 贡献最大的，如下图可以看出，车的价格和车轴 跟因变量关系最为密切，符合判断条件的 概率值必须小于0.05，当概率值大于等于0.1 时将会被剔除）輸入十强畫的变量模型输丸的娈量移去的娈量方法1Price in thousand歩进(准则;F- to-enter 的朗 率 =.050 ； F-tc-remov/e 的槪率疋工盘：Wheel base歩进f准则;F- to-enter 的輕 率=.050严 F-to-remov/e 的槪率F

7、iro）亠a.囲Log-transformed ：sales“选择变量(E)框内，我并没有输入数据，如果你需要对某个“自变量”进行条件筛选， 可以将那个自变量，移入“选择变量框”内，有一个前提就是：该变量从未在另一个目标列 表中出现！，再点击“规则”设定相应的“筛选条件”即可，如下图所示：点击“统计量”弹出如下所示的框，如下所示：兒蛭性回归丄统计量上- -1 雷=幾差标准差取消耦助 Durbin-WatsonfU .个案谬斷匸）題离群値所有个累Ni棋型拟合度迪）-j艮方变也固描述性部分桐关和偏相关性芒）共缆性诊断丄）回归系数a估计目骨信区间7WCK）： 35协方差矩阵电）在“回归系数”下面勾选

8、“估计，在右侧勾选”模型拟合度“ 和”共线性诊断“ 两个选项，再勾选“个案诊断”再点击“离群值”一般默认值为“3”，（设定异常值的依据，只有当残差超过3倍标准差的观测才会被当做异常值）点击继续。提示：共线性检验，如果有两个或两个以上的自变量之间存在线性相关关系，就会产生多重共线性 现象。这时候，用最小二乘法估计的模型参数就会不稳定，回归系数的估计值很容易引起误 导或者导致错误的结论。所以，需要勾选“共线性诊断”来做判断通过容许度可以计算共线性的存在与否？容许度TOL=1-RI平方或方差膨胀因子（VIF）: VIF=1/1-RI平方，其中RI平方是用其他自变量预测第I个变量的复相关系数， 显然，

9、VIF为TOL的倒数，TOL的值越小，VIF的值越大，自变量XI与其他自变量之间存在 共线性的可能性越大。提供三种处理方法：1：从有共线性问题的变量里删除不重要的变量 2：增加样本量或重新抽取样本。3：采用其他方法拟合模型，如领回归法，逐步回归法，主成分分析法。 再点击“绘制”选项，如下所示：上图中：DEPENDENT因变量）ZPRED（标准化预测值）ZRESID（标准化残差）DRESID（剔除残差）ADJPRED（修正后预测值）SRSID（学生化残差） SDRESID（学生化剔除残差）般我们大部分以“自变量”作为X轴，用“残差”作为Y轴，但是，也不要忽略特殊 情况，这里我们以“ZPRED（标

10、准化预测值）作为x轴，分别用“SDRESID（血生化剔除残 差）”和“ZRESID（标准化残差）作为Y轴，分别作为两组绘图变量。再点击”保存“按钮，进入如下界面：如上图所示：勾选“距离”下面的“cook距离”选项（cook距离，主要是指：把一个个 案从计算回归系数的样本中剔除时所引起的残差大小，cook距离越大，表明该个案对回归 系数的影响也越大）在“预测区间”勾选“均值”和“单值” 点击“继续”按钮，再点击“确定按钮，得到如 下所示的分析结果：（此分析结果，采用的是“逐步法”得到的结果）2熬凝：二i 斗训垃X熬凝龙i 斗训谊115.311153.072 2 曲.38381.72018S.66

11、2 2 曲.383书S益H .亠g 2W、盂亠 0 亠57.6561.0270hJ 74 K?4 口5 cnL.KJ KIFO oQbOOOilgAa&vaGPrice in ihciUEandso bsi-a-MOHH一 p=c 巴 nillcls.anlx wlmB-tlammp 虫，固娟腳 LCIgdranCIrmEd S3-CD.32 ,552a,655bR.304.4-30XI43hJ = KJ i=i1.1 1 55341.01 3572肅程TH就。严自省_一料航二MMD)- PPS云-hcl 匚常 rldsN 戸冑堂鹅删堆科脚)-.昱雷5言匚口0.35寻8亍胃8 P F 固鹅岬

12、Lclgkran晋rmed SM-esSSD已緋曜的娈量=模型Beta In迸;Sig：.偏舉关共线性统计it容差细F最小容差1Vehicle type:25la3.854：ooo-.301.9901.002.993Engine 右 iEE,:342a4.1 2B.tijoo.32a.6111.636.611Horsepower,257al：062.041.167.2933.417.293Wheelbase,356a5.71-0：obo-.424.獵L012.90S车宽,24433.517,tiJ01.277：S921.1-21.892-车长,30Sa4.79J0.IilOO；.365；9：7

13、J6-1.025.976车净重,345a4.&00：obo-.353.7221.3057 2Fuel tapacity,266a3：607.tijoo.28Sf-：02101.219.-.820耗油量:迈丿升-,19Sa-2.5S.4RT=1b.237插3._Q2a.29103.44.9.290车浄重,105b.310&；.034.3657741.365Fuel capacity,002b.024.931.002：44-32:259.443耗油墨:迈畀.01 4b.1-64.014：.5591.730.559a. 模型中的预测变量:（常量h Price in thousands *b. 模型申

14、的鞭沏变量：（常量.Price in thousands. Wheelbase *c. Log-transformed ales模型非标准化系数标准系数共线性统计量B标准误差试用版容差VIF1（常园Price in thousands4.634-.051.1.94/.006:-.55224.090/8.:104.000.0001.00Q1.0002f常量）Price in thousandsWheelbase-1.磁.-.055.0611.151.（W.011-.590.356.58-3也4丐571S.11-6.000, .000.988J9甜1.01 21.0Ha.因Log-transfor

15、med sales共线性谑斷m模型维数特征値条f牛索引方養比例Fr忙已in thousandsWheelbase111.8851.000.0E,0E2.1154-.05-1,94,94212.3471.000Q；.002：.1504.351.01.9.7.013.003-33.412.99.00.99a.因变Log-transformed sales寒差霸计疑极小値桜大僵均倩标准保差N预测値-；245405.64204:39052.86851 215标准预测値-4.0452.693.002.934译预測値的禄淮误羞:aisz.354130.057155调整的预测値-.440425.6214.:

16、38907.874840155夢-4.9711U2.327782.005131.99S146155掠准贱差-4.9052.297.005.955155Stu de nt ft 践差-4.9502.307-.：.99f4155已删除的残茎-5.0631 552：.34S876.0065801.01741.3155Students已删除的建差-5：3Q7.：2.341.0021.016155Mahal|距离.00117.4161 .-9643 42315EookB勺距窖.aoo:151.000：.017155居中杠杆値.aoo.115.013.023155图表頑方图16=0.01ffW=0-9S5

17、EfjgS： Log-transformed sales82.674.97Q71.0269.725 O亠85.517.51313X 15.359.9謔疑棒0心篦辭 w,.r?9.665trg 45.5 口诫6245.70569.749.933 424.4046.305 %16.535 26.93520.2321.41 O 12.05打 +579922.19519.468.22.5121 31518.575g 16.24 25.345 17-5O O10.B3519.04519 34016.0814.2910.14525.45O回归标准化预计値SPSS回归一多元线性回归结果分析（二），最近一直很

18、忙，公司的潮起潮落，就好比人生的跌岩起伏，眼看着一步步走向衰弱，却无 能为力，也许要学习“步步惊心”里面“四阿哥”的座右铭：“行到水穷处”，”坐看云起 时“。接着上一期的“多元线性回归解析”里面的内容，上一次，没有写结果分析，这次 补上，结果分析如下所示：结果分析 1：輸入十强畫的变量模型输入的娈量移去的娈量方法1Price in thousand歩进f准则;F- to-enter 的朗 率 =.050 F F-tc-remov/e 的槪率疋工2Wheelbase歩进（准则;r- to-enter 的朗 率 ）,Price inthoifsands, Wheelbase c-.Log-tran

19、sformed sales结果分析：1：从“模型汇总”中可以看出，有两个模型，（模型1和模型2）从R2拟合优度来看，模 型2的拟合优度明显比模型1要好一些（0.4220.300）2：从“ Anova 表中，可以看出“模型2”中的“回归平方和”为115.311，“残差平方和” 为153.072，由于总平方和=回归平方和+残差平方和，由于残差平方和（即指随即误差，不可解释的误差）由于“回归平方和”跟“残差平方和”几乎接近，所有，此线性回归模型只 解释了总平方和的一半，3:根据后面的“F统计量”的概率值为0.00,由于0.000.01,随着“自变量”的引入， 其显著性概率值均远小于0.01,所以可以

20、显著地拒绝总体回归系数为0的原假设，通过ANOVA 方差分析表可以看出“销售量”与“价格”和“轴距”之间存在着线性关系,至于线性关系 的强弱,需要进一步进行分析。已緋除的娈量口模型Beta In.寮Sig：.，偏相关扶线性统计量容差豎IF最小容差1Vehicle type:姑卩1S54.000.301.9901.002.990Engine.size：342a4.1218.320.6111.636.611Horsepower267aND也.U41.167.293.3.417-.29.3Wheelbase,356a5.71-8：obo-.4241：012.90S年宽,24433.517.tijoi

21、.277：0921.1-21.092-,308a4.79J0.WO；.365；9：7J61.025.976车净重,346a4.&00：obo-.3537271.3S572Fuel capacity,266a3：6S7.289f-：02101.21 9.-.020耗油量:迈丿升-,198a-2.58.4.X）T1b.237涵a._Q2a29103.44.9.290车浄重,105b,U&；.084.3652.741.365Fuel capacity,002b.024.931.002：44-32 2旳.443耗油量:迈坍,014b-.1-64越J.014.5591.790.559a. 模型中的预测娈

22、量:（常量* Price in thousands *b. 模型申的鞭別娈量：（常量* Prfce in thousands. Wheelbase *c. Log-transformed ales结果分析:1：从“已排除的变量”表中，可以看出：“模型2”中各变量的T检的概率值都大于“0.05” 所以,不能够引入“线性回归模型”必须剔除。模型非标准化系数标准系数共线性统计量B标准误差试用版容差VIF1（常量）Price in thousands4.684-.051.1.94/.006:-.55224.090/8.:104.000.0001.00Q1.0002（常量）Price in thousa

23、ndsWheelbase-1.02-t-.055.0611.151.011-.590.356.5335718.11-6.000 .000.90S阳1.0Ui.ona.因Log-transformed sales从“系数a”表中可以看出：1：多元线性回归方程应该为：销售量=-1.822-0.055*价格+0.061*轴距但是，由于常数项的sig为（0.1160.1）所以常数项不具备显著性，所以，我们再看后面 的“标准系数”，在标准系数一列中，可以看到“常数项”没有数值，已经被剔除 所以：标准化的回归方程为：销售量=-0.59*价格+0.356*轴距2:再看最后一列“共线性统计量”，其中“价格”和

24、“轴距”两个容差和“ vif都一样， 而且VIF都为1.012,且都小于5,所以两个自变量之间没有出现共线性，容忍度和 膨胀因子是互为倒数关系，容忍度越小，膨胀因子越大，发生共线性的可能性也越大共绞性唸模型维数特征値棊牛索引方盏比例Price in thousandsWheelbase111.8851.000.06.062.1154-.05-1,94,94212.8471.000.002：.1504.351.01.97.013.003-33.41-2.99,0C.99a.因变:Log-transformed sales珪羞霸计霾m极小値桜大僵均値标准保差N预测谄-；245405.64204.:

25、329052.86851 215标准预测値-4.0452.693.002.934怦预测値的际准误差.082.354130.057155调整的预测値-.440425.6214-:ahBao?.874840155-4.9711132.327782.005131.99S146155际准建差-4.9052.297.005.955155Stu de nt ft 建差-4.9502.30 7-.：.994155已删除的残茎-5.0631 552.348876.00658.0 0.1741.1155Students已刪條的殘差-5J97.：2.341.0021.016165Mahal 距團.00117.41

26、61 ,-9643.423155Cookfl.000:151.006：.017155居中杠杆値.000.115.013.023155从“共线性诊断”表中可以看出：1：共线性诊断采用的是“特征值”的方式，特征值主要用来刻画自变量的方差，诊断自变 量间是否存在较强多重共线性的另一种方法是利用主成分分析法，基本思想是：如果自变量 间确实存在较强的相关关系，那么它们之间必然存在信息重叠，于是就可以从这些自变量中 提取出既能反应自变量信息（方差），而且有相互独立的因素（成分）来，该方法主要从自 变量间的相关系数矩阵出发，计算相关系数矩阵的特征值，得到相应的若干成分。从上图可以看出：从自变量相关系数矩阵出

27、发，计算得到了三个特征值（模型2中），最大 特征值为2.847，最小特征值为0.003 条件索引=最大特征值/相对特征值再进行开方（即特征值2的条件索引为 2.847/0.150 再开方=4.351）标准化后，方差为1，每一个特征值都能够刻画某自变量的一定比例，所有的特征值能将刻 画某自变量信息的全部，于是，我们可以得到以下结论：1：价格在方差标准化后，第一个特征值解释了其方差的0.02，第二个特征值解释了0.97， 第三个特征值解释了0.002：轴距在方差标准化后，第一个特征值解释了其方差的0.00，第二个特征值解释了0.01， 第三个特征值解释了0.99可以看出：没有一个特征值，既能够解释“价格”又能够解释“轴距”所以“价格”和“轴 距”之间存在共线性较弱。前面的结论进一步得到了论证。（残差统计量的表中数值怎么来 的，这个计算过程，我就不写了）OG02频 率2旷頁方图因变量：Log-transforinecl sales回归标准化戦差从上图可以得知：大部分自变量的残差都符合正太分布，只有一，两处地方稍有偏离，如图 上的（-5 到-3区域的）处理偏离状态